MIT'deki araştırmacılar, büyük dil modellerinin (LLM) neden önyargılı davrandığını anlamada önemli bir atılım gerçekleştirdi ve bu buluş, daha güvenilir yapay zeka sistemlerinin geliştirilmesinin önünü açabilir.
Ekip, LLM'lerin "pozisyon önyargısı"na sahip olduğunu, yani belgelerin başı ve sonundaki bilgilere aşırı vurgu yaparken ortadaki içerikleri ihmal ettiğini keşfetti. Bu önyargının pratikte önemli etkileri var; örneğin, bir avukat LLM tabanlı bir asistanla 30 sayfalık bir belgeyi taradığında, sistem ilgili metni ilk veya son sayfalarda bulmaya daha yatkın oluyor.
Bu keşfi çığır açıcı kılan ise, araştırmacıların önyargının kök nedenini doğrudan model mimarisinde tespit etmiş olmaları. Araştırmanın başyazarı ve MIT yüksek lisans öğrencisi Xinyi Wu, "Bu modeller birer kara kutu; dolayısıyla bir LLM kullanıcısı olarak, pozisyon önyargısının modelinizi tutarsız hale getirebileceğinin farkında olmayabilirsiniz," diyor.
Ekip, LLM'lerin makine öğrenimi mimarisi içinde bilginin nasıl aktığını analiz etmek için grafik tabanlı bir teorik çerçeve geliştirdi. Analizleri, özellikle nedensel maskeleme ve dikkat mekanizmaları gibi bazı tasarım tercihlerinin, eğitim verisinde bu önyargı olmasa bile, modellerde girdinin başına yönelik içsel bir önyargı oluşturduğunu gösterdi.
Wu, "Çoğu zaman bir cümledeki ilk ve son kelimeler daha önemli olsa da, bir LLM doğal dil üretimi dışında, sıralama veya bilgi erişimi gibi görevlerde kullanıldığında bu önyargılar son derece zararlı olabilir," diye belirtiyor.
Bu araştırma, LLM'lerin çeşitli önyargı biçimlerine sahip olduğunu gösteren diğer güncel çalışmaları da tamamlıyor. Princeton Üniversitesi'nden ayrı bir çalışma, açıkça önyargısız olarak tasarlanan LLM'lerin bile, bilinçli olarak kalıp yargıları reddeden ancak bilinçdışı olarak sürdüren insanlara benzer şekilde örtük önyargılar geliştirdiğini buldu. Psikolojiden esinlenen ölçütlerle yapılan bu araştırmada, sekiz değer-uyumlu modelde ırk, cinsiyet, din ve sağlık kategorilerinde yaygın kalıp yargı önyargıları tespit edildi.
MIT'nin bulguları, Stanford profesörü Amin Saberi'nin "dönüştürücü modelin kalbindeki dikkat mekanizmasına nadir bir teorik bakış açısı" olarak nitelendirdiği bir yaklaşım sunuyor ve hem matematiksel netlik hem de gerçek dünya sistemleri için pratik içgörüler sağlıyor. LLM'ler kritik uygulamalara giderek daha fazla entegre olurken, bu içsel önyargıların anlaşılması ve giderilmesi, adil ve güvenilir yapay zeka teknolojilerinin geliştirilmesi için hayati önem taşıyor.