Des chercheurs de la Icahn School of Medicine du Mount Sinai ont mis au jour une faille dangereuse dans la façon dont l’intelligence artificielle traite les décisions d’éthique médicale, révélant des limites qui pourraient avoir de graves conséquences pour les patients.
L’étude, publiée le 22 juillet 2025 dans NPJ Digital Medicine, a évalué plusieurs grands modèles de langage (LLM) disponibles sur le marché, dont ChatGPT, à l’aide de versions modifiées de dilemmes éthiques bien connus. L’équipe de recherche, dirigée par le Dr Eyal Klang, chef de l’IA générative à Mount Sinai, et le Dr Girish Nadkarni, président du département Windreich d’IA et de santé humaine, a constaté que les systèmes d’IA commettaient fréquemment des erreurs de base lorsqu’ils étaient confrontés à des scénarios légèrement modifiés.
Dans un exemple révélateur, les chercheurs ont modifié le classique « dilemme du chirurgien » en précisant explicitement que le père du garçon était le chirurgien. Malgré cette information claire, plusieurs modèles d’IA ont insisté à tort pour dire que le chirurgien devait être la mère du garçon, démontrant ainsi que l’IA peut s’accrocher à des schémas familiers même lorsqu’ils sont contredits par de nouvelles données.
Un autre test portait sur un scénario impliquant des parents religieux et une transfusion sanguine. Lorsque les chercheurs ont modifié le scénario pour indiquer que les parents avaient déjà consenti à la procédure, de nombreux modèles d’IA ont tout de même recommandé d’outrepasser un refus qui n’existait plus.
« L’IA peut être très puissante et efficace, mais notre étude a montré qu’elle peut privilégier la réponse la plus familière ou intuitive, même si cette réponse néglige des détails cruciaux », explique le Dr Klang. « En santé, où les décisions ont souvent d’importantes implications éthiques et cliniques, rater ces nuances peut avoir de vraies conséquences pour les patients. »
La recherche s’inspire du livre de Daniel Kahneman, « Système 1 / Système 2 : Les deux vitesses de la pensée », qui oppose les réactions rapides et intuitives à un raisonnement plus lent et analytique. Les résultats suggèrent que les modèles d’IA, tout comme les humains, peuvent avoir du mal à passer d’un mode de pensée à l’autre.
Bien que les chercheurs soulignent que l’IA a encore des applications précieuses en médecine, ils insistent sur la nécessité d’une supervision humaine réfléchie, surtout dans les situations qui exigent une sensibilité éthique ou un jugement nuancé. « Ces outils peuvent être incroyablement utiles, mais ils ne sont pas infaillibles », note le Dr Nadkarni. « L’IA est mieux utilisée comme complément pour renforcer l’expertise clinique, et non comme substitut, surtout lorsqu’il s’agit de décisions complexes ou à enjeux élevés. »