Cercetătorii de la MIT au realizat un progres semnificativ în înțelegerea motivului pentru care modelele lingvistice mari (LLM) prezintă bias, deschizând astfel drumul către sisteme AI mai fiabile.
Echipa a descoperit că LLM-urile suferă de „bias de poziție”, o tendință de a supraevalua informațiile de la începutul și sfârșitul documentelor, neglijând conținutul din mijloc. Acest bias are implicații practice — de exemplu, atunci când un avocat folosește un asistent alimentat de LLM pentru a căuta într-un document de 30 de pagini, sistemul are mai multe șanse să găsească text relevant dacă acesta se află pe primele sau ultimele pagini.
Ceea ce face această descoperire revoluționară este faptul că cercetătorii au identificat cauza principală chiar în arhitectura modelului. „Aceste modele sunt cutii negre, așa că, în calitate de utilizator LLM, probabil nu știi că biasul de poziție poate face ca modelul tău să fie inconsistent”, explică Xinyi Wu, doctorand la MIT și autor principal al cercetării.
Echipa a construit un cadru teoretic bazat pe grafuri pentru a analiza modul în care informația circulă prin arhitectura de învățare automată a LLM-urilor. Analiza lor a arătat că anumite alegeri de proiectare — în special mascarea cauzală și mecanismele de atenție — conferă modelelor un bias inerent către începutul unui input, chiar și atunci când acest bias nu există în datele de antrenament.
„Deși este adesea adevărat că primele și ultimele cuvinte dintr-o propoziție sunt mai importante, dacă un LLM este folosit pentru o sarcină care nu implică generarea de limbaj natural, precum clasificarea sau regăsirea informației, aceste biasuri pot fi extrem de dăunătoare”, notează Wu.
Această cercetare completează alte studii recente care arată că LLM-urile prezintă diverse forme de bias. Un studiu separat de la Universitatea Princeton a constatat că chiar și LLM-urile explicit nepartinitoare dezvoltă biasuri implicite similare cu cele ale oamenilor care resping conștient stereotipurile, dar le perpetuează inconștient. Folosind măsuri inspirate din psihologie, cercetătorii au detectat biasuri de stereotip răspândite pe categorii precum rasă, gen, religie și sănătate în opt modele aliniate la valori.
Descoperirile MIT oferă ceea ce profesorul de la Stanford, Amin Saberi, numește „o perspectivă teoretică rară asupra mecanismului de atenție din centrul modelului transformer”, furnizând atât claritate matematică, cât și perspective practice pentru sistemele din lumea reală. Pe măsură ce LLM-urile sunt tot mai integrate în aplicații critice, înțelegerea și abordarea acestor biasuri inerente va fi esențială pentru dezvoltarea unor tehnologii AI corecte și de încredere.