Una falla crítica en los sistemas de inteligencia artificial utilizados para analizar imágenes médicas podría poner en riesgo a los pacientes, según una nueva investigación del MIT publicada esta semana.
El estudio, liderado por el estudiante de posgrado Kumail Alhamoud y la profesora asociada Marzyeh Ghassemi, revela que los modelos de visión y lenguaje (VLMs), sistemas de IA ampliamente implementados en entornos de salud, fallan de manera fundamental al comprender palabras de negación como 'no' y 'sin' al analizar imágenes médicas.
"Esas palabras de negación pueden tener un impacto muy significativo, y si usamos estos modelos a ciegas, podríamos enfrentar consecuencias catastróficas", advierte Alhamoud, autor principal del estudio.
Los investigadores demostraron este problema con un ejemplo clínico: si un radiólogo examina una radiografía de tórax que muestra inflamación de tejidos pero sin agrandamiento cardíaco, un sistema de IA podría recuperar incorrectamente casos con ambas condiciones, lo que podría llevar a un diagnóstico completamente diferente. Al ser evaluados formalmente, estos modelos de IA no superaron el azar en tareas de negación.
Para abordar esta limitación crítica, el equipo desarrolló NegBench, un marco de evaluación integral que abarca 18 variantes de tareas y 79,000 ejemplos en conjuntos de datos de imágenes, video y medicina. Su solución propuesta implica reentrenar los VLMs con conjuntos de datos especialmente creados que contienen millones de descripciones con negaciones, lo que ha mostrado resultados prometedores: mejorando el recall en consultas negadas en un 10% y aumentando la precisión en preguntas de opción múltiple con descripciones negadas en un 28%.
"Si algo tan fundamental como la negación está roto, no deberíamos estar usando modelos grandes de visión y lenguaje de la manera en que los usamos actualmente, sin una evaluación intensiva", advierte Ghassemi, subrayando la necesidad de una evaluación cuidadosa antes de implementar estos sistemas en entornos médicos de alto riesgo.
La investigación, que incluye colaboradores de OpenAI y la Universidad de Oxford, será presentada en la próxima Conferencia sobre Visión por Computadora y Reconocimiento de Patrones. El equipo ha puesto a disposición pública su estándar y código para ayudar a abordar este importante problema de seguridad en la IA.