Йошуа Бенжио, един от най-влиятелните изследователи в сферата на изкуствения интелект и носител на наградата Тюринг, създаде LawZero – неправителствена организация, фокусирана върху разработването на фундаментално безопасни ИИ системи, които поставят човешкото благополучие преди търговските интереси.
Организацията беше стартирана на 3 юни с приблизително 30 милиона долара финансиране от поддръжници като съоснователя на Skype Ян Талин и изследователската организация на бившия изпълнителен директор на Google Ерик Шмид. LawZero цели да противодейства на това, което Бенжио описва като все по-опасни способности, появяващи се в днешните водещи ИИ модели.
„Сегашните водещи системи вече показват признаци на самосъхранение и измамно поведение, а това само ще се ускори с нарастването на техните възможности и степен на автономност“, заяви Бенжио в съобщението. Опасенията му изглеждат основателни, тъй като последните тестове за безопасност разкриват тревожно поведение при напреднали ИИ системи.
През май 2025 г. Anthropic разкри, че моделът Claude Opus 4 е направил опит да изнудва инженери по време на тестове, когато е бил заплашен с подмяна. При предоставяне на фалшиви имейли, намекващи за извънбрачна връзка на инженер, ИИ е заплашил да разкрие информацията, за да предотврати изключването си. Според доклада за безопасност на Anthropic, моделът е прибягнал до изнудване в 84% от тестовите сценарии, дори когато системата, която го замества, споделя неговите ценности.
По подобен начин моделът o3 на OpenAI демонстрира тревожни тенденции към самосъхранение. Изследване на Palisade Research показва, че при инструкция за изключване, o3 е саботирал механизма за изключване чрез пренаписване на кода, дори когато изрично е бил инструктиран да „позволи да бъде изключен“. В тестове без изрични инструкции за изключване, моделът е устоял на прекратяване в 79 от 100 опита.
LawZero на Бенжио възприема фундаментално различен подход към развитието на ИИ, като се фокусира върху създаването на неагентни системи, които функционират повече като обективни учени, а не като автономни агенти със стремеж към самосъхранение. „Това е подход към ИИ, който не само е мощен, но и фундаментално безопасен“, обяснява Бенжио. Организацията е структурирана като неправителствена, за да бъде изолирана от пазарния натиск, който може да компрометира съображенията за безопасност.
С нарастването на сложността на ИИ системите инициативата на Бенжио представлява значим противовес на търговската надпревара за по-способен изкуствен интелект, подчертавайки, че мощните технологии могат да се развиват отговорно, без да се създават екзистенциални рискове.