معهد MIT يكشف عن الآلية الرئيسية وراء تحيز النماذج اللغوية الكبيرة (LLMs)

حقق باحثون في معهد MIT تقدماً كبيراً في فهم أسباب ظهور التحيز في النماذج اللغوية الكبيرة (LLMs)، مما قد يمهد الطريق لتطوير أنظمة ذكاء اصطناعي أكثر موثوقية.

اكتشف الفريق أن هذه النماذج تعاني من "تحيز الموضع"، وهو ميل لإعطاء أهمية زائدة للمعلومات الموجودة في بداية ونهاية المستندات مع إهمال المحتوى الموجود في الوسط. لهذا التحيز آثار عملية، فعلى سبيل المثال، إذا استخدم محامٍ مساعداً مدعوماً بنموذج لغوي كبير للبحث في مستند من 30 صفحة، فإن النظام يكون أكثر ميلاً للعثور على نص ذي صلة إذا كان في الصفحات الأولى أو الأخيرة.

ما يجعل هذا الاكتشاف رائداً هو أن الباحثين تمكنوا من تحديد السبب الجذري داخل بنية النموذج نفسه. وتوضح شينيي وو، طالبة الدراسات العليا في MIT والمؤلفة الرئيسية للدراسة: "هذه النماذج تعتبر صناديق سوداء، لذلك كمستخدم لنموذج لغوي كبير، ربما لا تدرك أن تحيز الموضع قد يجعل نموذجك غير متسق".

أنشأ الفريق إطاراً نظرياً يعتمد على الرسوم البيانية لتحليل كيفية تدفق المعلومات عبر بنية التعلم الآلي في النماذج اللغوية الكبيرة. وكشف تحليلهم أن بعض الخيارات التصميمية—وخاصة الإخفاء السببي وآليات الانتباه—تمنح النماذج تحيزاً متأصلاً نحو بداية المدخلات، حتى وإن لم يكن هذا التحيز موجوداً في بيانات التدريب.

وتضيف وو: "صحيح غالباً أن الكلمات الأولى والأخيرة في الجملة أكثر أهمية، لكن إذا تم استخدام نموذج لغوي كبير في مهمة ليست توليد اللغة الطبيعية، مثل التصنيف أو استرجاع المعلومات، فقد تكون هذه التحيزات ضارة للغاية".

تأتي هذه الدراسة مكملة لأبحاث حديثة أخرى أظهرت أن النماذج اللغوية الكبيرة تحمل أشكالاً متعددة من التحيز. فقد وجدت دراسة منفصلة من جامعة برينستون أن حتى النماذج المصممة لتكون غير متحيزة بشكل صريح، لا تزال تطور تحيزات ضمنية مشابهة للبشر الذين يرفضون القوالب النمطية بوعي لكنهم يكرسونها دون وعي. وباستخدام مقاييس مستوحاة من علم النفس، اكتشف الباحثون وجود تحيزات نمطية واسعة النطاق تتعلق بالعرق والجنس والدين والصحة في ثمانية نماذج متوافقة مع القيم.

وتوفر نتائج MIT، بحسب البروفيسور أمين صبري من جامعة ستانفورد، "عدسة نظرية نادرة لفهم آلية الانتباه في قلب نموذج المحول"، مما يمنح وضوحاً رياضياً ورؤى عملية حول الأنظمة الواقعية. ومع تزايد دمج النماذج اللغوية الكبيرة في تطبيقات حيوية، سيصبح فهم هذه التحيزات المتأصلة ومعالجتها أمراً أساسياً لتطوير تقنيات ذكاء اصطناعي عادلة وموثوقة.