Google urobil významný krok vpred v oblasti vizuálne uvedomelých AI asistentov integráciou schopností Project Astra do Gemini Live, ako bolo oznámené na Google I/O 2025 dňa 20. mája.
Project Astra, prvýkrát predstavený na Google I/O 2024, reprezentuje víziu Google DeepMind pre „univerzálneho AI asistenta, ktorý môže byť skutočne užitočný v každodennom živote.“ Konečným cieľom je premeniť aplikáciu Gemini na univerzálneho AI asistenta, ktorý zvláda každodenné úlohy, rieši rutinnú administratívu a ponúka personalizované odporúčania, aby boli používatelia produktívnejší a ich životy bohatšie. Začína sa to schopnosťami najprv preskúmanými v Project Astra, ako je porozumenie videu, zdieľanie obrazovky a pamäť.
Google oznámil, že Project Astra — firemná multimodálna AI s nízkou latenciou — bude poháňať množstvo nových zážitkov vo Vyhľadávaní, AI aplikácii Gemini a produktoch od tretích strán. Najvýraznejšie Project Astra poháňa novú funkciu Search Live vo Vyhľadávaní Google. Pri použití AI režimu alebo Lupy môžu používatelia kliknúť na tlačidlo „Live“ a pýtať sa otázky o tom, čo vidia cez kameru svojho smartfónu. Project Astra streamuje živé video a zvuk do AI modelu a odpovedá s minimálnym alebo žiadnym oneskorením.
V aplikácii Gemini Google uvádza, že schopnosti Project Astra v reálnom čase pre video a zdieľanie obrazovky prichádzajú ku všetkým používateľom. Hoci Project Astra už poháňa konverzácie Gemini Live s nízkou latenciou, tento vizuálny vstup bol doteraz vyhradený len pre platiacich predplatiteľov. Používatelia milujú Gemini Live, pričom konverzácie sú v priemere päťkrát dlhšie ako textové interakcie, pretože ponúka nové spôsoby, ako získať pomoc — či už pri riešení pokazeného spotrebiča alebo pri získavaní personalizovaných nákupných rád. Preto od dnešného dňa Google sprístupňuje Gemini Live s kamerou a zdieľaním obrazovky všetkým používateľom Androidu a iOS zadarmo.
Praktické využitie je pôsobivé. Google demonštroval schopnosti Project Astra videom, v ktorom Gemini Live pomáha s každodennými činnosťami, napríklad opravou bicykla. Vo videu používateľ požiada Project Astra, aby vyhľadal manuál k bicyklu, ktorý opravuje. AI prehľadá web, nájde dokument a opýta sa, čo chce používateľ vidieť ďalej. Následne používateľ požiada Project Astra, aby posúval dokument, kým nenájde sekciu o brzdách. Obrazovka Android telefónu ukazuje, ako Project Astra presne toto robí a informácie nachádza. Takéto agentné správanie naznačuje, že Project Astra bude schopný pristupovať ku konkrétnym informáciám online, aj v rámci dokumentov.
Za posledný rok Google tieto schopnosti postupne integroval do Gemini Live, aby ich mohlo zažiť viac ľudí. Spoločnosť pokračuje v inováciách, vrátane vylepšenia hlasového výstupu na prirodzenejší prejav s natívnym zvukom, zlepšenia pamäte a pridania ovládania počítača. Google teraz zbiera spätnú väzbu od dôveryhodných testerov a pracuje na tom, aby tieto schopnosti priniesol do Gemini Live, nových zážitkov vo Vyhľadávaní, Live API pre vývojárov a na nové zariadenia, ako sú okuliare.
Táto integrácia predstavuje významný pokrok v tom, aby boli AI asistenti kontextovo uvedomelejší a užitočnejší v každodenných situáciách, čo umožňuje technológiám lepšie porozumieť prostrediu používateľov a poskytovať relevantnejšiu pomoc.