Forskare vid MIT har gjort ett betydande genombrott i förståelsen av varför stora språkmodeller (LLM) uppvisar bias, vilket potentiellt banar väg för mer tillförlitliga AI-system.
Teamet upptäckte att LLM lider av så kallad "positionsbias", en tendens att överbetona information i början och slutet av dokument samtidigt som innehållet i mitten förbises. Denna bias har praktiska konsekvenser – till exempel när en jurist använder en LLM-baserad assistent för att söka i ett 30-sidigt dokument, är systemet mer benäget att hitta relevant text om den finns på de första eller sista sidorna.
Det som gör denna upptäckt banbrytande är att forskarna identifierade grundorsaken i själva modellarkitekturen. "Dessa modeller är svarta lådor, så som LLM-användare vet du troligen inte att positionsbias kan göra din modell inkonsekvent," förklarar Xinyi Wu, doktorand vid MIT och huvudförfattare till studien.
Forskarna byggde ett teoretiskt ramverk baserat på grafer för att analysera hur information flödar genom LLM:ernas maskininlärningsarkitektur. Analysen visade att vissa designval – särskilt kausal maskning och uppmärksamhetsmekanismer – ger modeller en inneboende bias mot början av ett indata, även när denna bias inte finns i träningsdatan.
"Även om det ofta stämmer att tidigare och senare ord i en mening är viktigare, kan dessa bias vara mycket skadliga om en LLM används för uppgifter som inte är naturligt språk-generering, som ranking eller informationssökning," påpekar Wu.
Denna forskning kompletterar andra nyliga studier som visar att LLM:er bär på olika former av bias. En separat studie från Princeton University fann att även uttryckligen obiaserade LLM:er ändå utvecklar implicita bias liknande människor som medvetet avvisar stereotyper men omedvetet upprätthåller dem. Med hjälp av psykologiinspirerade mått upptäckte forskarna utbredda stereotypa bias kopplade till ras, kön, religion och hälsa i åtta värdeanpassade modeller.
MIT:s resultat erbjuder vad Stanford-professorn Amin Saberi kallar "ett sällsynt teoretiskt perspektiv på uppmärksamhetsmekanismen i hjärtat av transformer-modellen", vilket ger både matematisk klarhet och praktiska insikter för verkliga system. I takt med att LLM:er blir alltmer integrerade i kritiska tillämpningar blir det avgörande att förstå och hantera dessa inneboende bias för att utveckla rättvisa och tillförlitliga AI-teknologier.