Google mengambil langkah besar dalam membuat asisten AI menjadi lebih sadar secara visual dengan mengintegrasikan kemampuan Project Astra ke dalam Gemini Live, seperti yang diumumkan pada Google I/O 2025, 20 Mei lalu.
Project Astra, yang pertama kali diperkenalkan di Google I/O 2024, merepresentasikan visi Google DeepMind untuk "asisten AI universal yang benar-benar membantu dalam kehidupan sehari-hari." Tujuan akhirnya adalah mentransformasi aplikasi Gemini menjadi asisten AI universal yang dapat menjalankan tugas sehari-hari, menangani administrasi rutin, dan memberikan rekomendasi personal untuk meningkatkan produktivitas serta memperkaya kehidupan pengguna. Hal ini diawali dengan kemampuan yang pertama kali dieksplorasi di Project Astra, seperti pemahaman video, berbagi layar, dan memori.
Google mengumumkan bahwa Project Astra — pengalaman AI multimodal dengan latensi rendah milik perusahaan — akan mendukung berbagai pengalaman baru di Search, aplikasi Gemini AI, dan produk dari pengembang pihak ketiga. Yang paling menonjol, Project Astra menjadi kekuatan di balik fitur baru Search Live di Google Search. Saat menggunakan AI Mode atau Lens, pengguna dapat menekan tombol "Live" untuk mengajukan pertanyaan tentang apa yang mereka lihat melalui kamera ponsel. Project Astra melakukan streaming video dan audio secara langsung ke model AI dan memberikan jawaban dengan latensi yang sangat minim atau bahkan tanpa jeda.
Di aplikasi Gemini, Google menyatakan bahwa kemampuan video real-time dan berbagi layar dari Project Astra akan tersedia untuk semua pengguna. Meski Project Astra sudah mendukung percakapan latensi rendah di Gemini Live, input visual ini sebelumnya hanya bisa diakses oleh pelanggan berbayar. Gemini Live sangat diminati, dengan rata-rata durasi percakapan lima kali lebih lama dibanding interaksi berbasis teks karena menawarkan cara baru untuk mendapatkan bantuan, baik saat memperbaiki peralatan rusak maupun mencari saran belanja yang dipersonalisasi. Oleh karena itu, mulai hari ini, Google menghadirkan Gemini Live dengan fitur kamera dan berbagi layar secara gratis untuk semua pengguna Android dan iOS.
Aplikasi praktisnya sangat mengesankan. Google mendemonstrasikan kemampuan Project Astra melalui video Gemini Live yang membantu aktivitas sehari-hari, seperti memperbaiki sepeda. Dalam video tersebut, pengguna meminta Project Astra untuk mencari manual sepeda yang sedang diperbaiki. AI kemudian menelusuri web, menemukan dokumen tersebut, dan menanyakan bagian mana yang ingin dilihat pengguna selanjutnya. Pengguna lalu meminta Project Astra untuk menggulir dokumen hingga menemukan bagian tentang rem. Layar ponsel Android menunjukkan Project Astra melakukan hal tersebut dan menemukan informasi yang dimaksud. Perilaku agentik semacam ini menunjukkan Project Astra dapat mengakses informasi spesifik secara online, bahkan di dalam dokumen.
Selama setahun terakhir, Google telah mengintegrasikan kemampuan ini ke dalam Gemini Live agar lebih banyak orang dapat merasakannya. Perusahaan terus meningkatkan dan mengeksplorasi inovasi baru, termasuk peningkatan output suara agar lebih natural dengan audio asli, peningkatan memori, serta penambahan kontrol komputer. Google kini mengumpulkan masukan dari penguji terpercaya tentang kemampuan ini dan berupaya menghadirkannya ke Gemini Live, pengalaman baru di Search, Live API untuk pengembang, dan perangkat baru seperti kacamata.
Integrasi ini merupakan kemajuan signifikan dalam membuat asisten AI lebih sadar konteks dan berguna dalam berbagai skenario sehari-hari, memungkinkan teknologi untuk lebih memahami lingkungan pengguna dan memberikan bantuan yang lebih relevan.