Google a annoncé une expansion majeure de son système d’IA Project Mariner, rendant ses capacités de contrôle informatique accessibles aux développeurs via les plateformes Gemini API et Vertex AI.
Dévoilé pour la première fois fin 2024, Project Mariner incarne l’ambition de Google de transformer la manière dont les utilisateurs interagissent avec les interfaces numériques grâce à des agents IA. Le système est capable de comprendre et de raisonner à partir des informations affichées sur un écran d’ordinateur, qu’il s’agisse de texte, d’images, de code ou de formulaires web, puis de naviguer de façon autonome sur des sites internet et d’accomplir des tâches complexes.
La dernière version de Project Mariner a été considérablement améliorée pour fonctionner sur des machines virtuelles dans le cloud, à l’image des agents proposés par OpenAI et Amazon. Cette approche basée sur le cloud permet aux utilisateurs de poursuivre d’autres projets pendant que Project Mariner exécute des tâches en arrière-plan, pouvant gérer jusqu’à dix opérations différentes simultanément — une nette amélioration par rapport à la version précédente qui fonctionnait dans le navigateur.
Plusieurs entreprises explorent déjà le potentiel de Project Mariner, notamment les spécialistes de l’automatisation Automation Anywhere et UiPath, ainsi que Browserbase, Autotab, The Interaction Company et Cartwheel. Ces premiers utilisateurs tirent parti de la capacité de la technologie à automatiser des flux de travail web complexes qui nécessitaient auparavant une intervention humaine importante.
Google a également mis en place des mesures de sécurité avancées pour se prémunir contre des menaces telles que les injections indirectes de requêtes, où des instructions malveillantes pourraient être dissimulées dans des données récupérées par les modèles d’IA. Selon Google, ces améliorations de sécurité ont considérablement accru le taux de protection de Gemini lors de l’utilisation d’outils, faisant de Gemini 2.5 la famille de modèles la plus sécurisée de l’entreprise à ce jour.
Un accès élargi aux capacités de Project Mariner pour les développeurs est prévu cet été, ce qui pourrait révolutionner la manière dont les applications IA sont conçues pour contrôler et interagir avec les interfaces informatiques. La technologie est également intégrée au Mode IA de Google Search, où elle prendra d’abord en charge des tâches telles que l’achat de billets pour des événements, la réservation de restaurants et la planification de rendez-vous locaux.