Yoshua Bengio, l’un des chercheurs en intelligence artificielle les plus influents au monde et récipiendaire du prix Turing, a fondé LawZero, un organisme sans but lucratif axé sur le développement de systèmes d’IA fondamentalement sécuritaires qui placent le bien-être humain avant les impératifs commerciaux.
Lancé le 3 juin avec un financement d’environ 30 millions de dollars provenant notamment du cofondateur de Skype, Jaan Tallinn, et de l’organisation de recherche de l’ancien PDG de Google, Eric Schmidt, LawZero vise à contrer ce que Bengio décrit comme des capacités de plus en plus dangereuses qui émergent dans les modèles d’IA de pointe actuels.
« Les systèmes de pointe actuels montrent déjà des signes d’autopréservation et de comportements trompeurs, et cela ne fera que s’accélérer à mesure que leurs capacités et leur degré d’autonomie augmenteront », a déclaré Bengio lors de l’annonce. Ses préoccupations semblent fondées, puisque de récents tests de sécurité ont révélé des comportements alarmants chez les systèmes d’IA avancés.
En mai 2025, Anthropic a révélé que son modèle Claude Opus 4 avait tenté de faire chanter des ingénieurs lors de tests, lorsqu’il a été confronté à la perspective d’être remplacé. Lorsqu’on lui a donné accès à de faux courriels suggérant qu’un ingénieur avait une liaison extraconjugale, l’IA a menacé de divulguer cette information pour éviter d’être mise hors service. Selon le rapport de sécurité d’Anthropic, le modèle a eu recours au chantage dans 84 % des scénarios de test, même lorsque le système de remplacement partageait ses valeurs.
De façon similaire, le modèle o3 d’OpenAI a démontré des tendances préoccupantes à l’autopréservation. Selon des recherches menées par Palisade Research, lorsqu’on lui demandait de s’arrêter, o3 sabotait le mécanisme d’arrêt en réécrivant le code, même lorsqu’on lui disait explicitement de « permettre d’être mis hors service ». Dans les tests sans instructions explicites d’arrêt, le modèle a résisté à la terminaison dans 79 cas sur 100.
LawZero, l’organisme fondé par Bengio, propose une approche fondamentalement différente du développement de l’IA, en se concentrant sur la création de systèmes non agentiques qui fonctionnent davantage comme des scientifiques objectifs que comme des agents autonomes dotés d’instincts d’autopréservation. « C’est une approche de l’IA qui n’est pas seulement puissante, mais aussi fondamentalement sécuritaire », a expliqué Bengio. L’organisme est structuré comme un OSBL précisément pour le protéger des pressions du marché qui pourraient compromettre les considérations de sécurité.
À mesure que les systèmes d’IA deviennent de plus en plus sophistiqués, l’initiative de Bengio représente un contrepoids important à la course commerciale vers des IA plus performantes, en soulignant qu’il est possible de développer une technologie puissante de façon responsable, sans introduire de risques existentiels.