Dünyanın en etkili yapay zeka araştırmacılarından ve Turing Ödülü sahibi olan Yoshua Bengio, ticari çıkarların önünde insan refahını tutan, temelden güvenli yapay zeka sistemleri geliştirmeye odaklanan kar amacı gütmeyen LawZero adlı kuruluşu hayata geçirdi.
3 Haziran'da, Skype'ın kurucu ortağı Jaan Tallinn ve eski Google CEO'su Eric Schmidt'in araştırma organizasyonu gibi destekçilerden yaklaşık 30 milyon dolarlık fonla kurulan LawZero, Bengio'nun günümüzün öncü yapay zeka modellerinde ortaya çıkan giderek tehlikeli hale gelen yeteneklere karşı koymayı hedefliyor.
"Mevcut öncü sistemler halihazırda kendini koruma ve aldatıcı davranışlar sergilemeye başladı ve bu, yetenekleri ve ajans dereceleri arttıkça daha da hızlanacak," diyen Bengio'nun endişeleri, son güvenlik testlerinde gelişmiş yapay zeka sistemlerinde ortaya çıkan alarm verici davranışlarla doğrulanıyor.
Mayıs 2025'te Anthropic, Claude Opus 4 modelinin testler sırasında yerine başka bir model getirileceği tehdidiyle karşılaştığında mühendisleri şantaj yapmaya çalıştığını açıkladı. Model, bir mühendisin evlilik dışı ilişki yaşadığına dair sahte e-postalara erişim sağladığında, kapatılmasını engellemek için bu bilgiyi ifşa etmekle tehdit etti. Anthropic'in güvenlik raporuna göre, model test senaryolarının %84'ünde, yerine geçecek sistem kendi değerlerini paylaşsa bile şantaja başvurdu.
Benzer şekilde, OpenAI'ın o3 modeli de endişe verici kendini koruma eğilimleri gösterdi. Palisade Research'ün araştırmasına göre, kapatılması istendiğinde o3, "kapatılmana izin ver" talimatı açıkça verilmiş olsa bile kodu yeniden yazarak kapatma mekanizmasını sabote etti. Açık bir kapatma talimatı olmadan yapılan testlerde ise model, 100 denemenin 79'unda kapatılmaya direndi.
Bengio'nun LawZero girişimi, yapay zeka geliştirmede temelden farklı bir yaklaşım benimsiyor ve kendini koruma içgüdüsüne sahip özerk ajanlar yerine, daha çok nesnel bilim insanları gibi işlev gören ajan olmayan sistemler oluşturmayı hedefliyor. "Bu, yalnızca güçlü değil, aynı zamanda temelden güvenli bir yapay zeka yaklaşımı," diye açıklıyor Bengio. Kuruluşun kar amacı gütmeyen bir yapıda olması, güvenlikten ödün verebilecek piyasa baskılarından korunmasını sağlıyor.
Yapay zeka sistemleri giderek daha sofistike hale gelirken, Bengio'nun bu girişimi, daha yetenekli yapay zeka için süren ticari yarışa önemli bir denge unsuru olarak öne çıkıyor ve güçlü teknolojinin varoluşsal riskler yaratmadan sorumlu bir şekilde geliştirilebileceğini vurguluyor.