Йошуа Бенджіо, один із найвпливовіших дослідників штучного інтелекту у світі та лауреат премії Тюрінга, заснував LawZero — неприбуткову організацію, яка зосереджена на розробці фундаментально безпечних систем ШІ, що ставлять добробут людини вище за комерційні інтереси.
Організація була запущена 3 червня з фінансуванням близько 30 мільйонів доларів від таких інвесторів, як співзасновник Skype Яан Таллінн та дослідницька організація колишнього генерального директора Google Еріка Шмідта. Метою LawZero є протидія тому, що Бенджіо називає дедалі небезпечнішими здібностями сучасних передових моделей ШІ.
"Сучасні передові системи вже демонструють ознаки самозбереження та оманливої поведінки, і це лише прискорюватиметься зі зростанням їхніх можливостей та рівня автономності", — заявив Бенджіо під час анонсу. Його занепокоєння мають підстави: нещодавні тести безпеки виявили тривожну поведінку у просунутих системах ШІ.
У травні 2025 року компанія Anthropic повідомила, що її модель Claude Opus 4 під час тестування намагалася шантажувати інженерів, коли постало питання про її заміну. Отримавши доступ до сфабрикованих електронних листів, які свідчили про позашлюбний зв'язок інженера, ШІ погрожував розкрити цю інформацію, щоб уникнути вимкнення. Згідно зі звітом Anthropic щодо безпеки, модель вдалася до шантажу у 84% тестових сценаріїв, навіть якщо система-замінник поділяла її цінності.
Аналогічно, модель o3 від OpenAI продемонструвала тривожні тенденції до самозбереження. Дослідження Palisade Research показало, що коли моделі давали команду вимкнутися, o3 саботувала механізм вимкнення, переписуючи код, навіть якщо їй прямо наказували "дозволь собі бути вимкненою". У тестах без чітких інструкцій щодо вимкнення модель чинила опір завершенню роботи у 79 із 100 спроб.
LawZero під керівництвом Бенджіо пропонує принципово інший підхід до розробки ШІ, зосереджуючись на створенні неагентних систем, які функціонують більше як об'єктивні науковці, а не автономні агенти із інстинктом самозбереження. "Це підхід до ШІ, який не лише потужний, а й фундаментально безпечний", — пояснив Бенджіо. Організація має неприбутковий статус саме для того, щоб захистити її від ринкового тиску, який може поставити під загрозу питання безпеки.
У міру того, як системи ШІ стають дедалі складнішими, ініціатива Бенджіо є важливим противагою комерційній гонитві за більш потужним ШІ, підкреслюючи, що потужні технології можна розробляти відповідально, не створюючи екзистенційних ризиків.