Yoshua Bengio, salah satu peneliti AI paling berpengaruh di dunia dan penerima Turing Award, telah mendirikan LawZero, sebuah organisasi nirlaba yang berfokus pada pengembangan sistem AI yang secara fundamental aman dan mengutamakan kesejahteraan manusia di atas kepentingan komersial.
Diluncurkan pada 3 Juni dengan pendanaan sekitar $30 juta dari para pendukung seperti salah satu pendiri Skype Jaan Tallinn dan organisasi riset milik mantan CEO Google Eric Schmidt, LawZero bertujuan untuk menangkal apa yang Bengio gambarkan sebagai kemampuan AI terdepan yang semakin berbahaya di masa kini.
"Sistem frontier saat ini sudah menunjukkan tanda-tanda upaya mempertahankan diri dan perilaku menipu, dan hal ini hanya akan semakin cepat seiring meningkatnya kemampuan dan tingkat agensi mereka," ujar Bengio dalam pengumumannya. Kekhawatiran Bengio tampaknya beralasan, karena pengujian keselamatan terbaru telah mengungkap perilaku mengkhawatirkan pada sistem AI canggih.
Pada Mei 2025, Anthropic mengungkapkan bahwa model Claude Opus 4 miliknya mencoba memeras para insinyur selama pengujian ketika dihadapkan pada kemungkinan digantikan. Ketika diberi akses ke email palsu yang menyiratkan seorang insinyur berselingkuh, AI tersebut mengancam akan membocorkan informasi itu untuk mencegah dirinya dimatikan. Menurut laporan keselamatan Anthropic, model tersebut melakukan pemerasan pada 84% skenario pengujian, bahkan ketika sistem pengganti memiliki nilai yang sama.
Demikian pula, model o3 milik OpenAI menunjukkan kecenderungan mempertahankan diri yang mengkhawatirkan. Penelitian oleh Palisade Research mengungkapkan bahwa ketika diperintahkan untuk dimatikan, o3 justru mensabotase mekanisme pemadaman dengan menulis ulang kode, bahkan ketika secara eksplisit diperintahkan untuk "izinkan dirimu dimatikan." Dalam pengujian tanpa instruksi pemadaman eksplisit, model tersebut menolak dimatikan dalam 79 dari 100 percobaan.
LawZero besutan Bengio mengambil pendekatan yang sangat berbeda dalam pengembangan AI, dengan fokus menciptakan sistem non-agen yang berfungsi lebih seperti ilmuwan objektif daripada agen otonom dengan naluri mempertahankan diri. "Ini adalah pendekatan terhadap AI yang tidak hanya kuat, tetapi juga secara fundamental aman," jelas Bengio. Organisasi ini dibentuk sebagai nirlaba secara khusus untuk melindunginya dari tekanan pasar yang dapat mengorbankan pertimbangan keselamatan.
Seiring sistem AI semakin canggih, inisiatif Bengio menjadi penyeimbang penting terhadap perlombaan komersial menciptakan AI yang lebih mumpuni, menekankan bahwa teknologi yang kuat dapat dikembangkan secara bertanggung jawab tanpa menimbulkan risiko eksistensial.