MIT के शोधकर्ताओं ने यह समझने में एक महत्वपूर्ण सफलता हासिल की है कि बड़े भाषा मॉडल्स (LLMs) में पूर्वाग्रह क्यों उत्पन्न होता है, जिससे अधिक विश्वसनीय एआई सिस्टम्स के विकास का मार्ग प्रशस्त हो सकता है।
शोधकर्ताओं ने पाया कि LLMs "पोजिशन बायस" से ग्रस्त होते हैं, यानी वे दस्तावेज़ों की शुरुआत और अंत की जानकारी को अधिक महत्व देते हैं, जबकि बीच की सामग्री को नज़रअंदाज़ कर देते हैं। इसका व्यावहारिक असर यह है कि, उदाहरण के लिए, यदि कोई वकील 30-पृष्ठीय दस्तावेज़ में LLM-संचालित असिस्टेंट से खोज करवाता है, तो सिस्टम की संभावना अधिक रहती है कि वह प्रासंगिक जानकारी दस्तावेज़ की शुरुआती या अंतिम पृष्ठों पर पाए।
इस खोज को महत्वपूर्ण बनाने वाली बात यह है कि शोधकर्ताओं ने इस पूर्वाग्रह का मूल कारण मॉडल की संरचना में ही खोज निकाला। MIT की ग्रेजुएट छात्रा और शोध की मुख्य लेखिका शिनयी वू बताती हैं, "ये मॉडल ब्लैक बॉक्स की तरह होते हैं, इसलिए एक LLM उपयोगकर्ता के रूप में आप शायद नहीं जानते कि पोजिशन बायस आपके मॉडल को असंगत बना सकता है।"
शोधकर्ताओं ने एक ग्राफ-आधारित सैद्धांतिक ढांचा तैयार किया, जिससे यह विश्लेषण किया जा सके कि LLMs की मशीन लर्निंग संरचना में जानकारी कैसे प्रवाहित होती है। उनके विश्लेषण से पता चला कि कुछ डिज़ाइन विकल्प—विशेष रूप से कॉज़ल मास्किंग और अटेंशन मैकेनिज्म—मॉडल्स में इनपुट की शुरुआत की ओर स्वाभाविक पूर्वाग्रह पैदा कर देते हैं, भले ही प्रशिक्षण डेटा में ऐसा कोई पूर्वाग्रह न हो।
वू कहती हैं, "अक्सर यह सच है कि वाक्य की शुरुआत और अंत के शब्द अधिक महत्वपूर्ण होते हैं, लेकिन यदि LLM का उपयोग किसी ऐसे कार्य के लिए किया जा रहा है जो प्राकृतिक भाषा निर्माण नहीं है, जैसे रैंकिंग या सूचना पुनः प्राप्ति, तो ये पूर्वाग्रह बेहद हानिकारक हो सकते हैं।"
यह शोध अन्य हालिया अध्ययनों की पुष्टि करता है, जिनमें दिखाया गया है कि LLMs में विभिन्न प्रकार के पूर्वाग्रह मौजूद होते हैं। प्रिंसटन विश्वविद्यालय के एक अलग अध्ययन में पाया गया कि स्पष्ट रूप से निष्पक्ष बनाए गए LLMs भी मानवों की तरह अवचेतन पूर्वाग्रह विकसित कर लेते हैं, जो जानबूझकर रूढ़ियों को अस्वीकार करते हैं, लेकिन अनजाने में उन्हें बढ़ावा देते हैं। मनोविज्ञान-प्रेरित मापदंडों का उपयोग कर शोधकर्ताओं ने आठ मूल्य-संरेखित मॉडलों में नस्ल, लिंग, धर्म और स्वास्थ्य श्रेणियों में व्यापक रूढ़िगत पूर्वाग्रह पाए।
MIT की खोज को स्टैनफोर्ड विश्वविद्यालय के प्रोफेसर अमीन साबेरी "ट्रांसफॉर्मर मॉडल के केंद्र में स्थित अटेंशन मैकेनिज्म को समझने के लिए एक दुर्लभ सैद्धांतिक दृष्टिकोण" बताते हैं, जो गणितीय स्पष्टता के साथ-साथ वास्तविक दुनिया की प्रणालियों के लिए व्यावहारिक अंतर्दृष्टि भी प्रदान करता है। जैसे-जैसे LLMs महत्वपूर्ण अनुप्रयोगों में एकीकृत होते जा रहे हैं, इन अंतर्निहित पूर्वाग्रहों को समझना और दूर करना निष्पक्ष और विश्वसनीय एआई तकनीकों के विकास के लिए अनिवार्य होगा।