Para peneliti di MIT telah membuat terobosan penting dalam memahami mengapa large language models (LLM) menunjukkan bias, yang berpotensi membuka jalan bagi sistem AI yang lebih andal.
Tim peneliti menemukan bahwa LLM mengalami "bias posisi", yaitu kecenderungan untuk terlalu menekankan informasi di awal dan akhir dokumen, sementara konten di bagian tengah sering diabaikan. Bias ini memiliki implikasi praktis—misalnya, ketika seorang pengacara menggunakan asisten berbasis LLM untuk mencari dokumen sepanjang 30 halaman, sistem lebih mungkin menemukan teks relevan jika muncul di halaman awal atau akhir.
Yang membuat penemuan ini begitu penting adalah para peneliti berhasil mengidentifikasi akar penyebabnya di dalam arsitektur model itu sendiri. "Model-model ini adalah kotak hitam, jadi sebagai pengguna LLM, Anda mungkin tidak tahu bahwa bias posisi dapat menyebabkan model Anda menjadi tidak konsisten," jelas Xinyi Wu, mahasiswa pascasarjana MIT sekaligus penulis utama riset ini.
Tim membangun kerangka teoretis berbasis graf untuk menganalisis bagaimana informasi mengalir melalui arsitektur machine learning pada LLM. Analisis mereka mengungkap bahwa pilihan desain tertentu—khususnya causal masking dan mekanisme attention—memberikan bias bawaan pada model terhadap bagian awal input, bahkan ketika bias tersebut tidak terdapat dalam data pelatihan.
"Meskipun seringkali benar bahwa kata-kata awal dan akhir dalam sebuah kalimat lebih penting, jika LLM digunakan untuk tugas yang bukan natural language generation, seperti ranking atau information retrieval, bias-bias ini bisa sangat merugikan," ujar Wu.
Riset ini melengkapi studi-studi terbaru lain yang menunjukkan bahwa LLM menyimpan berbagai bentuk bias. Studi terpisah dari Princeton University menemukan bahwa bahkan LLM yang secara eksplisit dirancang tanpa bias tetap membentuk bias implisit, mirip dengan manusia yang secara sadar menolak stereotip namun secara tidak sadar tetap melanggengkannya. Dengan menggunakan pengukuran yang terinspirasi dari psikologi, para peneliti mendeteksi bias stereotip yang meluas terkait ras, gender, agama, dan kesehatan pada delapan model yang telah disejajarkan dengan nilai-nilai tertentu.
Temuan MIT ini menawarkan apa yang disebut Profesor Amin Saberi dari Stanford sebagai "sudut pandang teoretis langka terhadap mekanisme attention yang menjadi inti model transformer," memberikan kejelasan matematis sekaligus wawasan praktis untuk sistem dunia nyata. Seiring LLM semakin banyak diintegrasikan ke dalam aplikasi-aplikasi penting, memahami dan mengatasi bias-bias bawaan ini akan menjadi kunci untuk mengembangkan teknologi AI yang adil dan andal.