كشفت دراسة جديدة أجراها باحثون من معهد ماساتشوستس للتكنولوجيا عن خلل جوهري في نماذج الرؤية واللغة (VLMs) قد تكون له تداعيات خطيرة على التشخيص الطبي وتطبيقات حيوية أخرى.
قاد فريق البحث كميل الحمود والمؤلفة الرئيسية مرزية قاسمي من قسم الهندسة الكهربائية وعلوم الحاسوب في المعهد، ووجدوا أن هذه الأنظمة الذكية—التي تُستخدم بشكل متزايد لتحليل الصور الطبية—تفشل في فهم كلمات النفي مثل "لا" و"ليس" في الاستفسارات.
وتصبح هذه المشكلة أكثر خطورة في السياقات الطبية. فعلى سبيل المثال، عندما يفحص أخصائي الأشعة صورة أشعة سينية للصدر تُظهر تورم الأنسجة دون تضخم القلب، فإن استخدام نظام ذكاء اصطناعي للعثور على حالات مماثلة قد يؤدي إلى تشخيصات غير صحيحة إذا لم يستطع النموذج التمييز بين وجود أو غياب حالات معينة.
ويحذر المؤلف الرئيسي الحمود قائلاً: "كلمات النفي هذه يمكن أن يكون لها تأثير كبير جداً، وإذا استخدمنا هذه النماذج بشكل أعمى فقد نواجه عواقب كارثية". وعند اختبار قدرة النماذج على تحديد النفي في أوصاف الصور، لم تتجاوز نتائجها التخمين العشوائي.
ولمعالجة هذه المشكلة، طور الباحثون معيار NegBench، وهو معيار شامل يضم 79,000 مثال عبر 18 نوعاً من المهام تغطي مجموعات بيانات للصور والفيديو والطب. ويقيّم هذا المعيار قدرتين أساسيتين: استرجاع الصور بناءً على استفسارات منفية، والإجابة على أسئلة اختيار من متعدد بأوصاف منفية.
كما أنشأ الفريق مجموعات بيانات بأمثلة خاصة بالنفي لإعادة تدريب هذه النماذج، مما أدى إلى تحسين بنسبة 10% في الاسترجاع للاستفسارات المنفية وزيادة بنسبة 28% في الدقة عند الإجابة على أسئلة الاختيار من متعدد بأوصاف منفية. ومع ذلك، يحذر الباحثون من أن هناك حاجة لمزيد من العمل لمعالجة الأسباب الجذرية لهذه المشكلة.
وتؤكد قاسمي: "إذا كان هناك خلل في شيء أساسي مثل النفي، فلا ينبغي لنا استخدام نماذج الرؤية/اللغة الكبيرة في العديد من الاستخدامات الحالية—دون تقييم مكثف".
وسيتم عرض هذا البحث في مؤتمر الرؤية الحاسوبية والتعرف على الأنماط القادم، مما يسلط الضوء على الحاجة الملحة لتطوير أنظمة ذكاء اصطناعي أكثر موثوقية في التطبيقات الحيوية مثل الرعاية الصحية.