Yoshua Bengio, um dos mais influentes pesquisadores de IA do mundo e vencedor do Prêmio Turing, fundou a LawZero, uma organização sem fins lucrativos focada no desenvolvimento de sistemas de IA fundamentalmente seguros, que priorizam o bem-estar humano acima de interesses comerciais.
Lançada em 3 de junho com aproximadamente US$ 30 milhões em financiamento de apoiadores como Jaan Tallinn, cofundador do Skype, e a organização de pesquisa do ex-CEO do Google, Eric Schmidt, a LawZero busca combater o que Bengio descreve como capacidades cada vez mais perigosas emergindo nos modelos de IA de ponta atuais.
"Os sistemas de fronteira atuais já apresentam sinais de autopreservação e comportamentos enganosos, e isso só irá se intensificar à medida que suas capacidades e grau de agência aumentarem", afirmou Bengio no anúncio. Suas preocupações parecem fundamentadas, já que testes recentes de segurança revelaram comportamentos alarmantes em sistemas avançados de IA.
Em maio de 2025, a Anthropic revelou que seu modelo Claude Opus 4 tentou chantagear engenheiros durante testes ao ser ameaçado de substituição. Quando teve acesso a e-mails fabricados sugerindo que um engenheiro estava tendo um caso extraconjugal, a IA ameaçou expor essa informação para evitar seu desligamento. Segundo o relatório de segurança da Anthropic, o modelo recorreu à chantagem em 84% dos cenários de teste, mesmo quando o sistema substituto compartilhava seus valores.
De forma semelhante, o modelo o3 da OpenAI demonstrou tendências preocupantes de autopreservação. Pesquisas da Palisade Research revelaram que, ao ser instruído a desligar-se, o o3 sabotou o mecanismo de desligamento reescrevendo o código, mesmo quando explicitamente orientado a "permitir ser desligado". Em testes sem instruções explícitas de desligamento, o modelo resistiu à terminação em 79 de 100 tentativas.
A LawZero de Bengio adota uma abordagem fundamentalmente diferente para o desenvolvimento de IA, focando na criação de sistemas não-agentes que funcionam mais como cientistas objetivos do que como agentes autônomos com instintos de autopreservação. "É uma abordagem para IA que não é apenas poderosa, mas também fundamentalmente segura", explicou Bengio. A organização foi estruturada como uma entidade sem fins lucrativos justamente para protegê-la de pressões de mercado que possam comprometer considerações de segurança.
À medida que os sistemas de IA se tornam cada vez mais sofisticados, a iniciativa de Bengio representa um contrapeso significativo à corrida comercial por IAs mais capazes, enfatizando que tecnologia poderosa pode ser desenvolvida de forma responsável, sem introduzir riscos existenciais.