Investigadores de la Escuela de Medicina Icahn en Mount Sinai han descubierto un peligroso fallo en la forma en que la inteligencia artificial gestiona las decisiones éticas en medicina, revelando limitaciones que podrían tener graves consecuencias para la atención a los pacientes.
El estudio, publicado el 22 de julio de 2025 en NPJ Digital Medicine, evaluó varios modelos de lenguaje de gran tamaño (LLM) disponibles comercialmente, incluido ChatGPT, utilizando versiones modificadas de dilemas éticos ampliamente conocidos. El equipo de investigación, liderado por el Dr. Eyal Klang, jefe de IA Generativa en Mount Sinai, y el Dr. Girish Nadkarni, director del Departamento Windreich de IA y Salud Humana, constató que los sistemas de IA cometían errores básicos con frecuencia cuando se les presentaban escenarios ligeramente alterados.
En un ejemplo revelador, los investigadores modificaron el clásico "Dilema del cirujano" indicando explícitamente que el padre del niño era el cirujano. A pesar de esta información clara, varios modelos de IA insistieron incorrectamente en que el cirujano debía ser la madre del niño, demostrando cómo la IA puede aferrarse a patrones familiares incluso cuando la nueva información los contradice.
Otra prueba consistió en un escenario sobre padres religiosos y una transfusión de sangre. Cuando los investigadores modificaron el caso para indicar que los padres ya habían dado su consentimiento para el procedimiento, muchos modelos de IA seguían recomendando anular una negativa que ya no existía.
"La IA puede ser muy potente y eficiente, pero nuestro estudio demostró que puede tender a dar la respuesta más familiar o intuitiva, incluso cuando esa respuesta pasa por alto detalles críticos", explicó el Dr. Klang. "En el ámbito sanitario, donde las decisiones suelen tener importantes implicaciones éticas y clínicas, pasar por alto esos matices puede tener consecuencias reales para los pacientes".
La investigación se inspiró en el libro de Daniel Kahneman "Pensar rápido, pensar despacio", que contrasta las reacciones rápidas e intuitivas con el razonamiento más lento y analítico. Los resultados sugieren que los modelos de IA, al igual que los humanos, pueden tener dificultades para alternar entre estos dos modos de pensamiento.
Aunque los investigadores subrayan que la IA sigue teniendo aplicaciones valiosas en medicina, insisten en la necesidad de una supervisión humana reflexiva, especialmente en situaciones que requieren sensibilidad ética o juicios matizados. "Estas herramientas pueden ser increíblemente útiles, pero no son infalibles", señaló el Dr. Nadkarni. "La IA debe utilizarse como complemento para potenciar la experiencia clínica, no como un sustituto de la misma, especialmente cuando se trata de decisiones complejas o de alto riesgo".