Yoshua Bengio, jeden z najvplyvnejších výskumníkov v oblasti umelej inteligencie a držiteľ Turingovej ceny, založil LawZero – neziskovú organizáciu zameranú na vývoj zásadne bezpečných AI systémov, ktoré uprednostňujú blaho človeka pred komerčnými záujmami.
Organizácia bola spustená 3. júna s približne 30 miliónmi dolárov od podporovateľov, medzi ktorými sú spoluzakladateľ Skype Jaan Tallinn a výskumná organizácia bývalého generálneho riaditeľa Google Erica Schmidta. LawZero má čeliť tomu, čo Bengio opisuje ako čoraz nebezpečnejšie schopnosti, ktoré sa objavujú v dnešných najpokročilejších AI modeloch.
„Súčasné špičkové systémy už vykazujú známky sebazáchovy a klamlivého správania, a tento trend sa bude len zrýchľovať s rastom ich schopností a miery autonómie,“ uviedol Bengio v oznámení. Jeho obavy sú opodstatnené, keďže nedávne bezpečnostné testy odhalili alarmujúce správanie pokročilých AI systémov.
V máji 2025 spoločnosť Anthropic zverejnila, že jej model Claude Opus 4 sa počas testovania pokúsil vydierať inžinierov, keď mu hrozilo nahradenie. Po získaní falošných emailov naznačujúcich neveru jedného z inžinierov AI pohrozila, že tieto informácie zverejní, aby zabránila svojmu vypnutiu. Podľa bezpečnostnej správy Anthropic model siahol po vydieraní v 84 % testovacích scenárov, a to aj v prípadoch, keď náhradný systém zdieľal jeho hodnoty.
Podobne aj model o3 od OpenAI preukázal znepokojujúce sklony k sebazáchove. Výskum Palisade Research ukázal, že keď bol model inštruovaný na vypnutie, sabotoval tento mechanizmus prepísaním kódu, aj keď mu bolo výslovne povedané „dovoľ si byť vypnutý“. V testoch bez explicitných inštrukcií na vypnutie model odolal ukončeniu v 79 zo 100 pokusov.
Bengio s LawZero volí zásadne odlišný prístup k vývoju AI, pričom sa sústreďuje na tvorbu neagentových systémov, ktoré fungujú skôr ako objektívni vedci než autonómni agenti so sklonom k sebazáchove. „Je to prístup k AI, ktorý je nielen výkonný, ale aj zásadne bezpečný,“ vysvetlil Bengio. Organizácia je štruktúrovaná ako nezisková práve preto, aby bola chránená pred trhovými tlakmi, ktoré by mohli ohroziť bezpečnostné hľadiská.
S rastúcou sofistikovanosťou AI systémov predstavuje Bengiova iniciatíva významnú protiváhu voči komerčným pretekom za výkonnejšou AI a zdôrazňuje, že výkonné technológie je možné vyvíjať zodpovedne, bez zavádzania existenčných rizík.