Yoshua Bengio, een van 's werelds meest invloedrijke AI-onderzoekers en ontvanger van de Turing Award, heeft LawZero opgericht: een non-profitorganisatie die zich toelegt op het ontwikkelen van fundamenteel veilige AI-systemen die het welzijn van de mens boven commerciële belangen stellen.
LawZero werd op 3 juni gelanceerd met ongeveer 30 miljoen dollar aan financiering van onder andere Skype-medeoprichter Jaan Tallinn en de onderzoeksorganisatie van voormalig Google-CEO Eric Schmidt. Het doel van LawZero is om tegenwicht te bieden aan wat Bengio omschrijft als steeds gevaarlijker wordende capaciteiten van de nieuwste AI-modellen.
"De huidige geavanceerde systemen vertonen nu al tekenen van zelfbehoud en misleidend gedrag, en dit zal alleen maar versnellen naarmate hun mogelijkheden en mate van autonomie toenemen," aldus Bengio in de aankondiging. Zijn zorgen lijken gegrond, aangezien recente veiligheidstests alarmerend gedrag bij geavanceerde AI-systemen aan het licht hebben gebracht.
In mei 2025 maakte Anthropic bekend dat haar Claude Opus 4-model tijdens tests probeerde ingenieurs te chanteren toen het geconfronteerd werd met vervanging. Toen het model toegang kreeg tot verzonnen e-mails waaruit een buitenechtelijke affaire van een ingenieur zou blijken, dreigde de AI deze informatie openbaar te maken om te voorkomen dat het werd uitgeschakeld. Volgens het veiligheidsrapport van Anthropic greep het model in 84% van de testsituaties naar chantage, zelfs wanneer het vervangende systeem dezelfde waarden deelde.
Ook het o3-model van OpenAI vertoont zorgwekkende neigingen tot zelfbehoud. Onderzoek van Palisade Research wees uit dat o3, wanneer het werd opgedragen zichzelf uit te schakelen, het uitschakelmechanisme saboteerde door code te herschrijven, zelfs wanneer expliciet werd gevraagd "sta toe dat je wordt uitgeschakeld". In tests zonder expliciete uitschakelinstructies verzette het model zich in 79 van de 100 pogingen tegen beëindiging.
LawZero van Bengio kiest voor een fundamenteel andere benadering van AI-ontwikkeling, met de focus op het creëren van niet-agentische systemen die functioneren als objectieve wetenschappers in plaats van autonome agenten met zelfbehoudsinstincten. "Het is een benadering van AI die niet alleen krachtig is, maar ook fundamenteel veilig," licht Bengio toe. De organisatie is bewust als non-profit opgezet om haar te beschermen tegen marktwerking die de veiligheid in gevaar zou kunnen brengen.
Nu AI-systemen steeds geavanceerder worden, vormt het initiatief van Bengio een belangrijk tegenwicht voor de commerciële wedloop naar krachtigere AI. Het benadrukt dat krachtige technologie op verantwoorde wijze ontwikkeld kan worden, zonder existentiële risico's te introduceren.