Google heeft een grote stap gezet in het visueel bewust maken van AI-assistenten door de mogelijkheden van Project Astra te integreren in Gemini Live, zoals aangekondigd op Google I/O 2025 op 20 mei.
Project Astra, voor het eerst onthuld tijdens Google I/O 2024, vertegenwoordigt de visie van Google DeepMind op een ‘universele AI-assistent die echt behulpzaam is in het dagelijks leven’. Het uiteindelijke doel is om de Gemini-app te transformeren tot een universele AI-assistent die dagelijkse taken uitvoert, administratieve rompslomp afhandelt en gepersonaliseerde aanbevelingen biedt om gebruikers productiever te maken en hun leven te verrijken. Dit begint met mogelijkheden die eerst in Project Astra zijn onderzocht, zoals videobegrip, schermdelen en geheugen.
Google kondigde aan dat Project Astra — de multimodale AI-ervaring met lage latentie van het bedrijf — een reeks nieuwe ervaringen zal aandrijven in Search, de Gemini AI-app en producten van externe ontwikkelaars. Het meest opvallend is dat Project Astra een nieuwe Search Live-functie in Google Search mogelijk maakt. Wanneer gebruikers AI-modus of Lens gebruiken, kunnen ze op de knop ‘Live’ tikken om vragen te stellen over wat ze via de camera van hun smartphone zien. Project Astra streamt live video en audio naar een AI-model en reageert vrijwel direct met antwoorden.
In de Gemini-app meldt Google dat de realtime video- en schermdeel-mogelijkheden van Project Astra voor alle gebruikers beschikbaar komen. Hoewel Project Astra al zorgt voor de snelle gesprekken in Gemini Live, was deze visuele input tot nu toe alleen voor betalende abonnees beschikbaar. Mensen zijn dol op Gemini Live; gesprekken zijn gemiddeld vijf keer langer dan tekstgebaseerde interacties, omdat het nieuwe manieren biedt om hulp te krijgen, bijvoorbeeld bij het oplossen van een defect apparaat of het krijgen van persoonlijk winkeladvies. Daarom maakt Google vanaf vandaag Gemini Live met camera- en schermdeling gratis beschikbaar voor iedereen op Android en iOS.
De praktische toepassingen zijn indrukwekkend. Google demonstreerde de mogelijkheden van Project Astra met een video waarin Gemini Live helpt bij dagelijkse activiteiten, zoals het repareren van een fiets. In de video vraagt de gebruiker Project Astra om de handleiding van de fiets die hij aan het repareren is op te zoeken. De AI zoekt op internet, vindt het document en vraagt wat de gebruiker vervolgens wil zien. Daarna vraagt de gebruiker aan Project Astra om door het document te scrollen tot het gedeelte over de remmen. Het scherm van de Android-telefoon laat zien hoe Project Astra precies dat doet en de informatie vindt. Dit soort agentisch gedrag suggereert dat Project Astra in staat zal zijn om specifieke informatie online te vinden, zelfs binnen documenten.
Het afgelopen jaar heeft Google deze mogelijkheden geïntegreerd in Gemini Live, zodat meer mensen ze kunnen ervaren. Het bedrijf blijft verbeteren en nieuwe innovaties verkennen, waaronder het natuurlijker maken van spraakuitvoer met native audio, het verbeteren van geheugen en het toevoegen van computerbediening. Google verzamelt nu feedback over deze mogelijkheden van vertrouwde testers en werkt eraan om ze naar Gemini Live te brengen, naar nieuwe ervaringen in Search, de Live API voor ontwikkelaars en naar nieuwe vormen zoals slimme brillen.
Deze integratie betekent een belangrijke vooruitgang in het contextbewuster en nuttiger maken van AI-assistenten in alledaagse situaties, waardoor technologie de omgeving van gebruikers beter begrijpt en relevantere hulp kan bieden.