O Google deu um salto significativo para tornar os assistentes de IA mais conscientes visualmente ao integrar as capacidades do Project Astra ao Gemini Live, conforme anunciado no Google I/O 2025 em 20 de maio.
O Project Astra, apresentado pela primeira vez no Google I/O 2024, representa a visão do Google DeepMind para um "assistente de IA universal que pode ser realmente útil no dia a dia". O objetivo final é transformar o aplicativo Gemini em um assistente de IA universal capaz de executar tarefas cotidianas, lidar com questões administrativas rotineiras e oferecer recomendações personalizadas para tornar os usuários mais produtivos e enriquecer suas vidas. Isso começa com capacidades inicialmente exploradas no Project Astra, como compreensão de vídeo, compartilhamento de tela e memória.
O Google anunciou que o Project Astra — a experiência de IA multimodal e de baixa latência da empresa — impulsionará uma série de novas experiências na Busca, no aplicativo Gemini e em produtos de desenvolvedores terceiros. O destaque é o novo recurso Search Live na Busca do Google, alimentado pelo Project Astra. Ao usar o Modo IA ou o Lens, os usuários podem clicar no botão "Live" para fazer perguntas sobre o que estão vendo pela câmera do smartphone. O Project Astra transmite vídeo e áudio ao vivo para um modelo de IA e responde com respostas quase instantâneas.
No aplicativo Gemini, o Google afirma que as capacidades de vídeo em tempo real e compartilhamento de tela do Project Astra estarão disponíveis para todos os usuários. Embora o Project Astra já impulsione as conversas de baixa latência do Gemini Live, esse recurso visual era anteriormente reservado para assinantes pagos. As pessoas adoram o Gemini Live, com conversas cinco vezes mais longas do que as interações baseadas em texto, pois oferece novas formas de obter ajuda, seja para consertar um eletrodoméstico ou receber conselhos de compras personalizados. Por isso, a partir de hoje, o Google está disponibilizando gratuitamente o Gemini Live com câmera e compartilhamento de tela para todos no Android e iOS.
As aplicações práticas são impressionantes. O Google demonstrou as capacidades do Project Astra mostrando um vídeo do Gemini Live auxiliando em atividades cotidianas, como consertar uma bicicleta. No vídeo, o usuário pede ao Project Astra para procurar o manual da bicicleta que está reparando. A IA navega na web, encontra o documento e pergunta o que o usuário deseja ver em seguida. O usuário então pede ao Project Astra para rolar o documento até encontrar a seção sobre freios. A tela do telefone Android mostra o Project Astra fazendo exatamente isso e localizando a informação. Esse tipo de comportamento agente indica que o Project Astra será capaz de acessar informações específicas online, inclusive dentro de documentos.
Ao longo do último ano, o Google vem integrando essas capacidades ao Gemini Live para que mais pessoas possam experimentá-las. A empresa continua aprimorando e explorando novas inovações, incluindo a melhoria da saída de voz para torná-la mais natural com áudio nativo, aprimoramento de memória e adição de controle de computador. O Google está agora coletando feedback sobre essas capacidades de testadores confiáveis e trabalhando para levá-las ao Gemini Live, a novas experiências na Busca, à Live API para desenvolvedores e a novos formatos, como óculos inteligentes.
Essa integração representa um avanço significativo para tornar os assistentes de IA mais conscientes do contexto e úteis em cenários do dia a dia, permitindo que a tecnologia compreenda melhor os ambientes dos usuários e ofereça uma assistência mais relevante.