Google a annoncé une expansion majeure de son système d’IA Projet Mariner, rendant ses capacités de contrôle informatique accessibles aux développeurs via les plateformes API Gemini et Vertex AI.
Dévoilé pour la première fois à la fin de 2024, le Projet Mariner représente l’ambitieuse initiative de Google visant à transformer la façon dont les utilisateurs interagissent avec les interfaces numériques grâce à des agents IA. Le système est capable de comprendre et de raisonner à partir des informations affichées à l’écran, qu’il s’agisse de texte, d’images, de code ou de formulaires web, puis de naviguer de façon autonome sur des sites et d’accomplir des tâches complexes.
La version la plus récente du Projet Mariner a été grandement améliorée pour fonctionner sur des machines virtuelles dans le nuage, à l’image des agents proposés par OpenAI et Amazon. Cette approche infonuagique permet aux utilisateurs de poursuivre d’autres projets pendant que le Projet Mariner exécute des tâches en arrière-plan, pouvant gérer jusqu’à dix opérations différentes simultanément — une nette amélioration par rapport à la version précédente qui fonctionnait dans le navigateur.
Plusieurs entreprises explorent déjà le potentiel du Projet Mariner, notamment les spécialistes de l’automatisation Automation Anywhere et UiPath, ainsi que Browserbase, Autotab, The Interaction Company et Cartwheel. Ces premiers utilisateurs tirent parti de la capacité de la technologie à automatiser des flux de travail web complexes qui nécessitaient auparavant une intervention humaine importante.
Google a également mis en place des mesures de sécurité avancées pour se protéger contre des menaces telles que les injections indirectes d’instructions, où des commandes malveillantes pourraient être intégrées dans les données récupérées par les modèles d’IA. Selon Google, ces améliorations ont considérablement augmenté le taux de protection de Gemini lors de l’utilisation d’outils, faisant de Gemini 2.5 la famille de modèles la plus sécuritaire à ce jour chez l’entreprise.
Un accès élargi aux capacités du Projet Mariner pour les développeurs est prévu pour cet été, ce qui pourrait révolutionner la façon dont les applications IA contrôlent et interagissent avec les interfaces informatiques. La technologie sera également intégrée au Mode IA de la recherche Google, où elle prendra d’abord en charge des tâches comme l’achat de billets pour des événements, la réservation de restaurants et la prise de rendez-vous locaux.