Google on ottanut merkittävän harppauksen tekoälyavustajien visuaalisen havainnointikyvyn kehittämisessä integroimalla Project Astran ominaisuudet Gemini Liveen, kuten ilmoitettiin Google I/O 2025 -tapahtumassa 20. toukokuuta.
Project Astra, joka esiteltiin ensimmäisen kerran Google I/O 2024:ssa, edustaa Google DeepMindin visiota "universaalista tekoälyavustajasta, joka on aidosti hyödyllinen arjessa". Tavoitteena on muuttaa Gemini-sovellus universaaliksi tekoälyavustajaksi, joka hoitaa arjen tehtäviä, hallinnoi rutiiniasioita ja tarjoaa personoituja suosituksia, jotta käyttäjät olisivat tuottavampia ja heidän elämänsä rikastuisi. Tämä alkaa Project Astrassa ensimmäisenä testatuista ominaisuuksista, kuten videon ymmärtämisestä, näytön jakamisesta ja muistista.
Google ilmoitti, että Project Astra – yhtiön matalan viiveen multimodaalinen tekoälykokemus – mahdollistaa joukon uusia toimintoja Hakukoneessa, Gemini AI -sovelluksessa sekä kolmansien osapuolten kehittäjien tuotteissa. Merkittävimpänä Project Astra toimii uuden Search Live -ominaisuuden moottorina Google-haussa. Kun käyttäjä käyttää AI Modea tai Lens-toimintoa, hän voi painaa "Live"-painiketta kysyäkseen kysymyksiä siitä, mitä näkee älypuhelimen kameran kautta. Project Astra striimaa live-videota ja ääntä tekoälymallille ja vastaa lähes viiveettä.
Gemini-sovelluksessa Project Astran reaaliaikaiset video- ja näytönjakoominaisuudet tulevat nyt kaikkien käyttäjien saataville. Vaikka Project Astra on jo mahdollistanut Gemini Liven matalan viiveen keskustelut, visuaalinen syöte oli aiemmin varattu vain maksullisille tilaajille. Käyttäjät rakastavat Gemini Liveä – keskustelut ovat keskimäärin viisi kertaa pidempiä kuin tekstipohjaiset vuorovaikutukset, koska se tarjoaa uusia tapoja saada apua, oli kyse sitten kodinkoneen vianetsinnästä tai personoiduista ostosuosituksista. Siksi Google tekee Gemini Liven kamera- ja näytönjakotoiminnot nyt ilmaiseksi saataville kaikille Android- ja iOS-käyttäjille.
Käytännön sovellukset ovat vaikuttavia. Google esitteli Project Astran kykyjä näyttämällä videon, jossa Gemini Live auttaa arjen askareissa, kuten polkupyörän korjaamisessa. Videolla käyttäjä pyytää Project Astraa etsimään korjattavan pyörän käyttöohjeen. Tekoäly selaa verkkoa, löytää dokumentin ja kysyy, mitä käyttäjä haluaa nähdä seuraavaksi. Käyttäjä pyytää Project Astraa selaamaan dokumenttia, kunnes löytyy jarruja käsittelevä osio. Android-puhelimen näytöllä näkyy, kuinka Project Astra tekee juuri näin ja löytää tiedon. Tällainen agenttimainen toiminta viittaa siihen, että Project Astra pystyy hakemaan tietoa verkosta, jopa yksittäisistä dokumenteista.
Viime vuoden aikana Google on tuonut näitä ominaisuuksia yhä useamman käyttäjän ulottuville Gemini Livessä. Yhtiö jatkaa kehitystyötä ja uusien innovaatioiden tutkimista, kuten puhevastauksen luonnollisuuden parantamista natiivilla äänellä, muistin kehittämistä ja tietokoneen ohjauksen lisäämistä. Google kerää nyt palautetta näistä ominaisuuksista luotetuilta testaajilta ja pyrkii tuomaan ne Gemini Liveen, uusiin hakukokemuksiin, kehittäjien Live API:in sekä uusiin laitealustoihin, kuten älylaseihin.
Tämä integraatio edustaa merkittävää edistysaskelta tekoälyavustajien kontekstuaalisen ymmärryksen ja arjen hyödyllisyyden kehittämisessä, mahdollistaen teknologian ymmärtää paremmin käyttäjän ympäristöä ja tarjota entistä osuvampaa apua.