Google a făcut un pas semnificativ înainte în direcția creșterii conștientizării vizuale a asistenților AI prin integrarea capabilităților Project Astra în Gemini Live, așa cum a fost anunțat la Google I/O 2025 pe 20 mai.
Project Astra, prezentat inițial la Google I/O 2024, reprezintă viziunea Google DeepMind pentru „un asistent AI universal care poate fi cu adevărat util în viața de zi cu zi.” Scopul final este transformarea aplicației Gemini într-un asistent AI universal care să îndeplinească sarcini cotidiene, să gestioneze activități administrative banale și să ofere recomandări personalizate pentru a crește productivitatea utilizatorilor și a le îmbogăți viața. Totul începe cu capabilități explorate inițial în Project Astra, precum înțelegerea videoclipurilor, partajarea ecranului și memoria.
Google a anunțat că Project Astra — experiența AI multimodală cu latență redusă a companiei — va alimenta o serie de noi funcționalități în Search, aplicația Gemini AI și produse ale dezvoltatorilor terți. Cel mai notabil, Project Astra stă la baza noii funcții Search Live din Google Search. Atunci când folosesc AI Mode sau Lens, utilizatorii pot apăsa butonul „Live” pentru a adresa întrebări despre ceea ce văd prin camera smartphone-ului. Project Astra transmite video și audio live către un model AI și răspunde cu răspunsuri aproape instantaneu.
În aplicația Gemini, Google spune că funcțiile de video în timp real și partajare a ecranului ale Project Astra vor fi disponibile pentru toți utilizatorii. Deși Project Astra alimenta deja conversațiile cu latență redusă din Gemini Live, acest input vizual era anterior rezervat abonaților plătiți. Utilizatorii adoră Gemini Live, cu conversații de cinci ori mai lungi decât interacțiunile bazate pe text, deoarece oferă modalități noi de a primi ajutor, fie că este vorba de depanarea unui aparat defect sau de obținerea unor sfaturi personalizate de cumpărături. De aceea, începând de astăzi, Google face disponibil Gemini Live cu cameră și partajare de ecran pentru toți utilizatorii Android și iOS, gratuit.
Aplicațiile practice sunt impresionante. Google a demonstrat capabilitățile Project Astra printr-un videoclip în care Gemini Live ajută la activități cotidiene, precum repararea unei biciclete. În video, utilizatorul îi cere Project Astra să caute manualul bicicletei pe care o repară. AI-ul caută pe internet, găsește documentul și întreabă ce dorește utilizatorul să vadă în continuare. Utilizatorul îi spune apoi lui Project Astra să deruleze documentul până găsește secțiunea despre frâne. Ecranul telefonului Android arată cum Project Astra face exact acest lucru și găsește informația. Acest tip de comportament agentic sugerează că Project Astra va putea accesa informații specifice online, chiar și din interiorul documentelor.
În ultimul an, Google a integrat aceste capabilități în Gemini Live pentru ca mai mulți utilizatori să le poată experimenta. Compania continuă să îmbunătățească și să exploreze noi inovații, inclusiv îmbunătățirea vocii pentru a fi mai naturală cu audio nativ, îmbunătățirea memoriei și adăugarea controlului computerului. Google colectează acum feedback despre aceste funcționalități de la testatori de încredere și lucrează pentru a le aduce în Gemini Live, în noi experiențe Search, în Live API pentru dezvoltatori și în noi formate hardware, precum ochelarii.
Această integrare reprezintă un progres semnificativ în a face asistenții AI mai conștienți de context și mai utili în scenarii de zi cu zi, permițând tehnologiei să înțeleagă mai bine mediul utilizatorilor și să ofere asistență mai relevantă.