பெரிய மொழி மாதிரிகள் (LLMs) ஏன் பாகுபாடு காட்டுகின்றன என்பதை புரிந்துகொள்ளும் வழியில் எம்ஐடி ஆராய்ச்சியாளர்கள் முக்கியமான முன்னேற்றத்தை எட்டியுள்ளனர். இது, எதிர்காலத்தில் நம்பகமான ஏஐ அமைப்புகளை உருவாக்கும் பாதையை அமைக்கக்கூடியதாக இருக்கலாம்.
அணியினர், LLMகள் "இடம் சார்ந்த பாகுபாடு" (position bias) எனப்படும் ஒரு பிரச்சினையில் பாதிக்கப்படுவதை கண்டுபிடித்துள்ளனர். இதில், ஆவணங்களின் தொடக்க மற்றும் முடிவுப் பகுதிகளுக்கு அதிக முக்கியத்துவம் அளிக்கப்படுகிறது, நடுவில் உள்ள உள்ளடக்கம் புறக்கணிக்கப்படுகிறது. இதற்கு நடைமுறை விளைவுகள் உள்ளன—for example, ஒரு வழக்கறிஞர் LLM ஆதரவுடன் 30 பக்க ஆவணத்தில் தேடும்போது, தேவைப்படும் தகவல் தொடக்க அல்லது முடிவுப் பக்கங்களில் இருந்தால் மாதிரி அதை அதிகம் கண்டுபிடிக்கும் வாய்ப்பு உள்ளது.
இந்த கண்டுபிடிப்பை முக்கியமானதாக மாற்றுவது, மாதிரி வடிவமைப்பிலேயே இதன் மூல காரணத்தை ஆராய்ச்சியாளர்கள் கண்டறிந்திருப்பதே. "இந்த மாதிரிகள் கருப்புப்பெட்டிகள் போன்றவை; எனவே, ஒரு LLM பயனாளராக, இடம் சார்ந்த பாகுபாடு உங்கள் மாதிரியில் நிலைத்திருக்கக்கூடும் என்பதை நீங்கள் அறிய வாய்ப்பில்லை," என்கிறார் எம்ஐடி பட்டதாரி மாணவர் மற்றும் ஆய்வின் முதன்மை ஆசிரியர் சின்யி வு.
அணியினர், LLMகளின் இயந்திரக் கற்றல் கட்டமைப்பில் தகவல் எவ்வாறு பாய்கிறது என்பதை பகுப்பாய்வு செய்ய ஒரு கிராப் அடிப்படையிலான கோட்பாட்டு枠மை உருவாக்கினர். அவர்களின் பகுப்பாய்வில், குறிப்பாக காரணமிக்க மறைப்பு (causal masking) மற்றும் கவனம் செலுத்தும் செயல்முறைகள் (attention mechanisms) போன்ற வடிவமைப்பு முடிவுகள், பயிற்சி தரவுகளில் அந்த பாகுபாடு இல்லாவிட்டாலும் கூட, உள்ளீட்டின் தொடக்கப் பகுதிக்கு இயற்கையான பாகுபாட்டை உருவாக்குவதை வெளிப்படுத்தியது.
"ஒரு வாக்கியத்தில் தொடக்க மற்றும் முடிவுச் சொற்கள் முக்கியமானவை என்பது பல நேரங்களில் உண்மைதான். ஆனால், LLMகள் இயற்கை மொழி உருவாக்கம் அல்லாத பணிகளில்—for example, தரவரிசை அல்லது தகவல் தேடல்—பயன்படுத்தப்படும்போது, இந்த பாகுபாடுகள் மிகுந்த தீங்கிழைக்கும்," என்கிறார் வு.
LLMகளில் பல்வேறு வகையான பாகுபாடுகள் உள்ளன என்பதை சமீபத்திய பிற ஆய்வுகளும் காட்டுகின்றன. பிரின்ஸ்டன் பல்கலைக்கழகத்தின் தனி ஆய்வில், வெளிப்படையாக பாகுபாடற்றதாக வடிவமைக்கப்பட்ட LLMகளும் கூட, மனிதர்கள் விழிப்புணர்வுடன் பாகுபாடுகளை நிராகரித்தாலும், அறியாமல் அவற்றை தொடரும் போன்று மறைமுக பாகுபாடுகளை உருவாக்குகின்றன என்று கண்டுபிடிக்கப்பட்டது. உளவியலுக்கு உந்துதல் அளிக்கும் அளவீடுகளை பயன்படுத்தி, ஆராய்ச்சியாளர்கள் எட்டு மதிப்பீடு செய்யப்பட்ட மாதிரிகளில் இனம், பாலினம், மதம் மற்றும் சுகாதாரம் உள்ளிட்ட பிரிவுகளில் பரவலான பாகுபாடுகளை கண்டறிந்தனர்.
எம்ஐடி கண்டுபிடிப்புகள், ஸ்டான்போர்டு பேராசிரியர் அமின் சபெரி கூறும்படி, "டிரான்ஸ்ஃபார்மர் மாதிரியின் இதயமான கவன செயல்முறையை கோட்பாட்டு ரீதியில் பார்க்கும் அரிய வாய்ப்பை" வழங்குகின்றன. இது கணித ரீதியான தெளிவையும், நடைமுறை பயன்பாட்டிற்கான புரிதலையும் வழங்குகிறது. LLMகள் முக்கியமான பயன்பாடுகளில் அதிகமாக ஒருங்கிணைக்கப்படும் நிலையில், இந்த இயற்கை பாகுபாடுகளை புரிந்து, சரிசெய்வது, நியாயமான மற்றும் நம்பகமான ஏஐ தொழில்நுட்பங்களை உருவாக்குவதற்கு அவசியமாகும்.