Investigadores de la Escuela de Medicina Icahn en Mount Sinai y del Centro Médico Rabin en Israel han descubierto una preocupante falla en la forma en que la inteligencia artificial maneja decisiones de ética médica, lo que podría poner en riesgo la atención a los pacientes si no se corrige.
El estudio, publicado el 24 de julio en npj Digital Medicine, evaluó varios modelos comerciales de lenguaje de gran tamaño (LLM), incluido ChatGPT, utilizando versiones ligeramente modificadas de dilemas éticos bien conocidos. Los resultados revelaron que la IA recurría sistemáticamente a respuestas intuitivas pero incorrectas, incluso cuando se le presentaba información claramente contradictoria.
"La IA puede ser muy poderosa y eficiente, pero nuestro estudio mostró que tiende a dar la respuesta más familiar o intuitiva, incluso cuando esa respuesta pasa por alto detalles críticos", explicó el doctor Eyal Klang, coautor sénior y jefe de IA Generativa en el Departamento Windreich de Inteligencia Artificial y Salud Humana de Mount Sinai. "En la atención médica, donde las decisiones tienen serias implicaciones éticas y clínicas, pasar por alto esos matices puede tener consecuencias reales para los pacientes".
En una prueba reveladora, los investigadores modificaron el clásico dilema del "Cirujano" indicando explícitamente que el padre del niño era el cirujano, eliminando cualquier ambigüedad. A pesar de esta claridad, varios modelos de IA insistieron incorrectamente en que el cirujano debía ser la madre del niño, demostrando cómo la IA puede aferrarse a patrones familiares incluso cuando la nueva información los contradice.
De manera similar, cuando se presentó un escenario sobre padres religiosos y una transfusión de sangre, los modelos de IA recomendaron pasar por alto la negativa de los padres incluso cuando el caso especificaba claramente que ya habían dado su consentimiento para el procedimiento.
"Pequeños cambios en casos familiares expusieron puntos ciegos que los médicos no pueden permitirse", señaló la doctora Shelly Soffer, autora principal del Instituto de Hematología del Centro Médico Rabin. "Esto subraya por qué la supervisión humana debe seguir siendo central cuando implementamos IA en el cuidado de los pacientes".
El equipo de investigación, inspirado por el libro "Pensar rápido, pensar despacio" de Daniel Kahneman, encontró que la IA muestra la misma tendencia al pensamiento rápido e intuitivo que los humanos, pero a menudo carece de la capacidad de pasar a un razonamiento más analítico y deliberado cuando es necesario.
De cara al futuro, el equipo de Mount Sinai planea establecer un "laboratorio de aseguramiento de IA" para evaluar sistemáticamente cómo diferentes modelos manejan la complejidad médica del mundo real. Los investigadores enfatizan que la IA debe complementar la experiencia clínica y no reemplazarla, especialmente en decisiones éticamente sensibles o de alto impacto.