Google har taget et markant skridt fremad i arbejdet med at gøre AI-assistenter mere visuelt bevidste ved at integrere Project Astras funktioner i Gemini Live, som blev annonceret på Google I/O 2025 den 20. maj.
Project Astra, der først blev præsenteret på Google I/O 2024, repræsenterer Google DeepMinds vision om en "universel AI-assistent, der virkelig kan være hjælpsom i hverdagen." Det ultimative mål er at forvandle Gemini-appen til en universel AI-assistent, der kan udføre dagligdags opgaver, håndtere rutineprægede administrative opgaver og levere personlige anbefalinger for at gøre brugerne mere produktive og berige deres liv. Dette starter med funktioner, der først blev udforsket i Project Astra, såsom videoforståelse, skærmdeling og hukommelse.
Google annoncerede, at Project Astra — virksomhedens lav-latens, multimodale AI-oplevelse — vil drive en række nye oplevelser i Søgning, Gemini AI-appen og produkter fra tredjepartsudviklere. Mest bemærkelsesværdigt er det, at Project Astra driver en ny Search Live-funktion i Google Søgning. Når man bruger AI-tilstand eller Lens, kan brugere trykke på "Live"-knappen for at stille spørgsmål om det, de ser gennem deres smartphonekamera. Project Astra streamer live video og lyd til en AI-model og svarer med minimal eller ingen forsinkelse.
I Gemini-appen oplyser Google, at Project Astras realtidsvideo- og skærmdelingsfunktioner nu kommer til alle brugere. Selvom Project Astra allerede driver Gemini Lives lav-latens samtaler, var denne visuelle input tidligere forbeholdt betalende abonnenter. Folk elsker Gemini Live, hvor samtaler i gennemsnit er fem gange længere end tekstbaserede interaktioner, fordi det tilbyder nye måder at få hjælp på – uanset om det er fejlfinding på et defekt apparat eller personlig shoppingrådgivning. Derfor gør Google fra i dag Gemini Live med kamera- og skærmdeling gratis tilgængelig for alle på Android og iOS.
De praktiske anvendelser er imponerende. Google demonstrerede Project Astras muligheder ved at vise en video, hvor Gemini Live hjælper med dagligdags aktiviteter, som at reparere en cykel. I videoen beder brugeren Project Astra om at finde manualen til den cykel, de er ved at reparere. AI'en søger på nettet, finder dokumentet og spørger, hvad brugeren vil se næste gang. Brugeren beder derefter Project Astra om at scrolle i dokumentet, indtil den finder et afsnit om bremser. Android-telefonens skærm viser, at Project Astra gør netop dette og finder informationen. Denne slags agentadfærd antyder, at Project Astra vil kunne tilgå specifik information online, selv inde i dokumenter.
I det forgangne år har Google integreret disse funktioner i Gemini Live, så flere kan opleve dem. Virksomheden fortsætter med at forbedre og udforske nye innovationer, herunder at opgradere stemmeoutput til at lyde mere naturligt med native audio, forbedre hukommelsen og tilføje computerstyring. Google indsamler nu feedback om disse funktioner fra betroede testere og arbejder på at bringe dem til Gemini Live, nye oplevelser i Søgning, Live API til udviklere og nye formfaktorer som briller.
Denne integration repræsenterer et væsentligt fremskridt i arbejdet med at gøre AI-assistenter mere kontekstbevidste og nyttige i dagligdagen, så teknologien bedre kan forstå brugernes omgivelser og yde mere relevant assistance.