A Google deu um passo significativo na evolução dos assistentes de IA ao tornar estes sistemas mais conscientes do mundo visual, integrando as capacidades do Project Astra no Gemini Live, conforme anunciado na Google I/O 2025, a 20 de maio.
O Project Astra, apresentado pela primeira vez na Google I/O 2024, representa a visão da Google DeepMind para um "assistente de IA universal verdadeiramente útil no quotidiano". O objetivo final é transformar a aplicação Gemini num assistente de IA universal capaz de realizar tarefas do dia a dia, tratar de tarefas administrativas rotineiras e apresentar recomendações personalizadas para tornar os utilizadores mais produtivos e enriquecer as suas vidas. Isto começa com capacidades inicialmente exploradas no Project Astra, como compreensão de vídeo, partilha de ecrã e memória.
A Google anunciou que o Project Astra — a experiência de IA multimodal e de baixa latência da empresa — irá potenciar uma série de novas experiências na Pesquisa, na aplicação Gemini AI e em produtos de terceiros. O destaque vai para a nova funcionalidade Search Live na Pesquisa Google, alimentada pelo Project Astra. Ao utilizar o Modo IA ou o Lens, os utilizadores podem clicar no botão "Live" para colocar questões sobre o que estão a ver através da câmara do smartphone. O Project Astra transmite vídeo e áudio em direto para um modelo de IA e responde quase instantaneamente.
Na aplicação Gemini, a Google refere que as capacidades de vídeo em tempo real e partilha de ecrã do Project Astra vão chegar a todos os utilizadores. Embora o Project Astra já potencie as conversas de baixa latência do Gemini Live, esta entrada visual estava anteriormente reservada a subscritores pagos. Os utilizadores adoram o Gemini Live, com conversas cinco vezes mais longas do que as interações por texto, em média, porque oferece novas formas de obter ajuda, seja a resolver um eletrodoméstico avariado ou a receber conselhos de compras personalizados. Por isso, a partir de hoje, a Google disponibiliza o Gemini Live com câmara e partilha de ecrã gratuitamente para todos os utilizadores de Android e iOS.
As aplicações práticas são impressionantes. A Google demonstrou as capacidades do Project Astra com um vídeo do Gemini Live a ajudar em tarefas do dia a dia, como reparar uma bicicleta. No vídeo, o utilizador pede ao Project Astra para procurar o manual da bicicleta que está a arranjar. A IA navega na internet, encontra o documento e pergunta o que o utilizador pretende ver a seguir. O utilizador pede então ao Project Astra para percorrer o documento até encontrar a secção sobre travões. O ecrã do telemóvel Android mostra o Project Astra a executar exatamente essa tarefa e a encontrar a informação. Este comportamento autónomo sugere que o Project Astra será capaz de aceder a informação específica online, mesmo dentro de documentos.
Ao longo do último ano, a Google tem vindo a integrar estas capacidades no Gemini Live para que mais pessoas as possam experimentar. A empresa continua a melhorar e a explorar novas inovações, incluindo a atualização da voz para soar mais natural com áudio nativo, melhorias na memória e o controlo do computador. A Google está agora a recolher feedback sobre estas funcionalidades junto de utilizadores de confiança e a trabalhar para as trazer ao Gemini Live, a novas experiências na Pesquisa, à Live API para programadores e a novos formatos, como óculos inteligentes.
Esta integração representa um avanço significativo na criação de assistentes de IA mais contextualmente conscientes e úteis em cenários do quotidiano, permitindo que a tecnologia compreenda melhor o ambiente dos utilizadores e forneça assistência mais relevante.