MIT के नए शोध के अनुसार, मेडिकल इमेज विश्लेषण के लिए इस्तेमाल हो रहे आर्टिफिशियल इंटेलिजेंस सिस्टम्स में एक गंभीर खामी है, जो मरीजों के लिए जोखिम पैदा कर सकती है।
यह अध्ययन ग्रेजुएट छात्र कुमैल अलहमौद और एसोसिएट प्रोफेसर मरज़ियेह ग़ासेमी के नेतृत्व में किया गया। इसमें सामने आया कि विज़न-लैंग्वेज मॉडल्स (VLMs) — जो स्वास्थ्य सेवाओं में बड़े पैमाने पर इस्तेमाल हो रहे हैं — मेडिकल इमेज का विश्लेषण करते समय 'नहीं' और 'नॉट' जैसे निषेध शब्दों को मूल रूप से समझ ही नहीं पाते।
अध्ययन के प्रमुख लेखक अलहमौद ने चेतावनी दी, "ये निषेध शब्द बहुत महत्वपूर्ण प्रभाव डाल सकते हैं, और यदि हम इन मॉडलों का अंधाधुंध उपयोग करते हैं, तो विनाशकारी परिणाम सामने आ सकते हैं।"
शोधकर्ताओं ने एक क्लिनिकल उदाहरण के माध्यम से इस समस्या को दिखाया: यदि एक रेडियोलॉजिस्ट छाती के एक्स-रे में ऊतक सूजन देखता है, लेकिन हृदय बड़ा नहीं है, तो एआई सिस्टम दोनों स्थितियों वाले मामलों को गलत तरीके से खोज सकता है, जिससे पूरी तरह से अलग निदान हो सकता है। जब इन एआई मॉडलों का औपचारिक परीक्षण निषेध कार्यों पर किया गया, तो उनका प्रदर्शन यादृच्छिक अनुमान के बराबर था।
इस गंभीर कमी को दूर करने के लिए टीम ने 'नेगबेंच' नामक एक व्यापक मूल्यांकन ढांचा विकसित किया है, जिसमें इमेज, वीडियो और मेडिकल डाटासेट्स पर 18 कार्य विविधताओं और 79,000 उदाहरणों को शामिल किया गया है। उनके द्वारा प्रस्तावित समाधान में विशेष रूप से तैयार किए गए डाटासेट्स के साथ VLMs को पुनः प्रशिक्षित करना शामिल है, जिनमें लाखों निषेधयुक्त कैप्शन हैं। इसके परिणाम उत्साहजनक रहे — निषेध प्रश्नों पर रिकॉल में 10% और निषेध कैप्शन वाले मल्टीपल-चॉइस प्रश्नों पर सटीकता में 28% तक सुधार हुआ।
ग़ासेमी ने आगाह किया, "यदि निषेध जैसी बुनियादी चीज़ ही टूटी हुई है, तो हमें बड़े विज़न/लैंग्वेज मॉडल्स का उपयोग वैसे नहीं करना चाहिए, जैसे हम अभी कर रहे हैं — बिना गहन मूल्यांकन के।" उन्होंने इन सिस्टम्स को उच्च जोखिम वाले मेडिकल वातावरण में लागू करने से पहले सावधानीपूर्वक मूल्यांकन की आवश्यकता पर बल दिया।
इस शोध में OpenAI और ऑक्सफोर्ड यूनिवर्सिटी के सहयोगी भी शामिल हैं। इसे आगामी कंप्यूटर विज़न एंड पैटर्न रिकग्निशन सम्मेलन में प्रस्तुत किया जाएगा। टीम ने इस महत्वपूर्ण एआई सुरक्षा मुद्दे के समाधान के लिए अपना बेंचमार्क और कोड सार्वजनिक रूप से उपलब्ध करा दिया है।