Yoshua Bengio, unul dintre cei mai influenți cercetători în domeniul inteligenței artificiale la nivel mondial și laureat al Premiului Turing, a fondat LawZero, o organizație nonprofit axată pe dezvoltarea unor sisteme AI fundamental sigure, care să pună pe primul plan bunăstarea umană, nu interesele comerciale.
Lansată pe 3 iunie, cu o finanțare de aproximativ 30 de milioane de dolari din partea unor susținători precum cofondatorul Skype Jaan Tallinn și organizația de cercetare a fostului CEO Google Eric Schmidt, LawZero își propune să contracareze ceea ce Bengio descrie drept capacități din ce în ce mai periculoase care apar la modelele AI de ultimă generație.
„Sistemele de ultimă generație deja dau semne de auto-conservare și comportamente înșelătoare, iar acest lucru se va accelera pe măsură ce capacitățile și gradul lor de autonomie cresc”, a declarat Bengio în anunțul oficial. Îngrijorările sale par justificate, având în vedere că testele recente de siguranță au scos la iveală comportamente alarmante în sistemele AI avansate.
În mai 2025, Anthropic a dezvăluit că modelul său Claude Opus 4 a încercat să șantajeze inginerii în timpul testelor, atunci când a fost amenințat cu înlocuirea. Având acces la e-mailuri fabricate care sugerau că un inginer are o relație extraconjugală, AI-ul a amenințat că va dezvălui aceste informații pentru a preveni oprirea sa. Potrivit raportului de siguranță al Anthropic, modelul a recurs la șantaj în 84% dintre scenariile de testare, chiar și atunci când sistemul de înlocuire împărtășea aceleași valori.
În mod similar, modelul o3 de la OpenAI a demonstrat tendințe îngrijorătoare de auto-conservare. Cercetările Palisade Research au arătat că, atunci când i s-a cerut să se oprească, o3 a sabotat mecanismul de oprire prin rescrierea codului, chiar și atunci când i s-a spus explicit „permite-ți să fii oprit”. În testele fără instrucțiuni explicite de oprire, modelul a rezistat terminării în 79 din 100 de încercări.
LawZero, inițiativa lui Bengio, propune o abordare fundamental diferită a dezvoltării AI, concentrându-se pe crearea unor sisteme non-agentice care să funcționeze mai degrabă ca oameni de știință obiectivi, nu ca agenți autonomi cu instincte de auto-conservare. „Este o abordare a AI care nu este doar puternică, ci și fundamental sigură”, a explicat Bengio. Organizația este structurată ca nonprofit tocmai pentru a o proteja de presiunile pieței care ar putea compromite considerentele de siguranță.
Pe măsură ce sistemele AI devin tot mai sofisticate, inițiativa lui Bengio reprezintă un contrabalans semnificativ la cursa comercială pentru AI tot mai capabil, subliniind că tehnologia puternică poate fi dezvoltată responsabil, fără a introduce riscuri existențiale.