MIT के शोधकर्ताओं के एक नए अध्ययन ने विज़न-लैंग्वेज मॉडल्स (VLMs) में एक मौलिक खामी उजागर की है, जो चिकित्सा निदान और अन्य महत्वपूर्ण अनुप्रयोगों के लिए गंभीर परिणाम ला सकती है।
MIT के इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर साइंस विभाग के कुमैल अलहमौद और वरिष्ठ लेखक मरज़िएह घसेमी के नेतृत्व में टीम ने पाया कि ये एआई सिस्टम्स—जो चिकित्सा इमेज का विश्लेषण करने के लिए तेजी से उपयोग में लाए जा रहे हैं—प्रश्नों में 'नहीं' और 'न' जैसे नकारात्मक शब्दों को समझने में विफल रहते हैं।
यह कमी विशेष रूप से चिकित्सा परिप्रेक्ष्य में समस्या बन जाती है। उदाहरण के लिए, जब एक रेडियोलॉजिस्ट एक छाती के एक्स-रे की जांच करता है जिसमें ऊतक में सूजन है लेकिन दिल बड़ा नहीं है, तो यदि एआई सिस्टम से इसी तरह के मामले खोजने को कहा जाए और मॉडल विशिष्ट स्थितियों की उपस्थिति और अनुपस्थिति में अंतर न कर सके, तो गलत निदान हो सकता है।
मुख्य लेखक अलहमौद चेतावनी देते हैं, "ये नकारात्मक शब्द बहुत महत्वपूर्ण प्रभाव डाल सकते हैं, और यदि हम इन मॉडलों का आंख मूंदकर उपयोग करते हैं, तो हमें विनाशकारी परिणामों का सामना करना पड़ सकता है।" जब इन मॉडलों की छवि कैप्शन में नकारात्मकता पहचानने की क्षमता का परीक्षण किया गया, तो उनका प्रदर्शन यादृच्छिक अनुमान से बेहतर नहीं था।
इस समस्या के समाधान के लिए, शोधकर्ताओं ने NegBench विकसित किया है, जो 18 कार्य विविधताओं में फैले 79,000 उदाहरणों के साथ एक व्यापक बेंचमार्क है, जिसमें छवि, वीडियो और चिकित्सा डेटासेट शामिल हैं। यह बेंचमार्क दो मुख्य क्षमताओं का मूल्यांकन करता है: नकारात्मक प्रश्नों के आधार पर इमेज प्राप्त करना और नकारात्मक कैप्शन वाले बहुविकल्पीय प्रश्नों के उत्तर देना।
टीम ने नकारात्मकता-विशिष्ट उदाहरणों के साथ डेटासेट भी बनाए, ताकि इन मॉडलों को पुनः प्रशिक्षित किया जा सके। इससे नकारात्मक प्रश्नों पर रिकॉल में 10% और नकारात्मक कैप्शन वाले बहुविकल्पीय प्रश्नों पर सटीकता में 28% की वृद्धि हुई। हालांकि, शोधकर्ता चेतावनी देते हैं कि इस समस्या की जड़ तक पहुंचने के लिए अभी और काम करना बाकी है।
घसेमी जोर देते हैं, "यदि नकारात्मकता जैसी बुनियादी चीज़ ही टूटी हुई है, तो हमें इन बड़े विज़न/लैंग्वेज मॉडल्स का उपयोग वैसे नहीं करना चाहिए, जैसे हम अभी कर रहे हैं—बिना गहन मूल्यांकन के।"
यह शोध आगामी कंप्यूटर विज़न एंड पैटर्न रिकग्निशन सम्मेलन में प्रस्तुत किया जाएगा, जो स्वास्थ्य सेवा जैसे महत्वपूर्ण क्षेत्रों में अधिक मजबूत एआई सिस्टम्स की तत्काल आवश्यकता को उजागर करता है।