Google telah melangkah jauh ke hadapan dalam usaha menjadikan pembantu AI lebih peka secara visual dengan mengintegrasikan keupayaan Project Astra ke dalam Gemini Live, seperti yang diumumkan di Google I/O 2025 pada 20 Mei.
Project Astra, yang pertama kali diperkenalkan di Google I/O 2024, mewakili visi Google DeepMind untuk "pembantu AI sejagat yang benar-benar berguna dalam kehidupan seharian." Matlamat utamanya adalah untuk mengubah aplikasi Gemini menjadi pembantu AI sejagat yang boleh melaksanakan tugasan harian, mengurus pentadbiran rutin, dan memberikan cadangan peribadi untuk meningkatkan produktiviti serta memperkayakan kehidupan pengguna. Ini bermula dengan keupayaan yang mula-mula diteroka dalam Project Astra, seperti pemahaman video, perkongsian skrin, dan memori.
Google mengumumkan bahawa Project Astra — pengalaman AI multimodal berlatensi rendah syarikat itu — akan menggerakkan pelbagai pengalaman baharu dalam Search, aplikasi Gemini AI, dan produk daripada pembangun pihak ketiga. Paling menonjol, Project Astra kini menggerakkan ciri baharu Search Live dalam Google Search. Apabila menggunakan AI Mode atau Lens, pengguna boleh menekan butang "Live" untuk bertanya soalan tentang apa yang mereka lihat melalui kamera telefon pintar mereka. Project Astra akan menstrim video dan audio secara langsung ke dalam model AI dan memberikan jawapan dengan sedikit atau tiada kelewatan.
Dalam aplikasi Gemini, Google menyatakan keupayaan video masa nyata dan perkongsian skrin Project Astra akan tersedia kepada semua pengguna. Walaupun Project Astra sudah menggerakkan perbualan berlatensi rendah Gemini Live, input visual ini sebelum ini hanya untuk pelanggan berbayar. Orang ramai menyukai Gemini Live, dengan perbualan lima kali lebih panjang berbanding interaksi berasaskan teks secara purata kerana ia menawarkan cara baharu untuk mendapatkan bantuan, sama ada membaiki peralatan rosak atau mendapatkan nasihat membeli-belah yang diperibadikan. Oleh itu, bermula hari ini, Google menawarkan Gemini Live dengan kamera dan perkongsian skrin secara percuma kepada semua pengguna Android dan iOS.
Aplikasi praktikalnya sangat mengagumkan. Google telah mendemonstrasikan keupayaan Project Astra dengan memaparkan video Gemini Live membantu dalam aktiviti harian, seperti membaiki basikal. Dalam video tersebut, pengguna meminta Project Astra mencari manual basikal yang sedang dibaiki. AI tersebut melayari web, menemui dokumen berkenaan, dan bertanya apa yang pengguna ingin lihat seterusnya. Pengguna kemudian meminta Project Astra menatal dokumen sehingga menemui bahagian mengenai brek. Skrin telefon Android menunjukkan Project Astra melakukan perkara itu dan menemui maklumat yang diperlukan. Tingkah laku seperti agen ini menunjukkan Project Astra akan dapat mengakses maklumat khusus dalam talian, termasuk dalam dokumen.
Sepanjang tahun lalu, Google telah mengintegrasikan keupayaan ini ke dalam Gemini Live untuk lebih ramai pengguna. Syarikat ini terus menambah baik dan meneroka inovasi baharu, termasuk menaik taraf output suara supaya lebih semula jadi dengan audio asli, mempertingkatkan memori, dan menambah kawalan komputer. Google kini sedang mengumpul maklum balas tentang keupayaan ini daripada penguji yang dipercayai dan berusaha untuk membawanya ke Gemini Live, pengalaman baharu dalam Search, Live API untuk pembangun, serta bentuk baharu seperti cermin mata.
Integrasi ini mewakili kemajuan besar dalam menjadikan pembantu AI lebih peka terhadap konteks dan berguna dalam senario harian, membolehkan teknologi memahami persekitaran pengguna dengan lebih baik dan memberikan bantuan yang lebih relevan.