Des chercheurs de l’Icahn School of Medicine du Mount Sinai ont mis en lumière une faille dangereuse dans la manière dont l’intelligence artificielle traite les décisions d’éthique médicale, révélant des limites qui pourraient avoir de graves conséquences pour les patients.
L’étude, publiée le 22 juillet 2025 dans NPJ Digital Medicine, a évalué plusieurs grands modèles de langage (LLM) disponibles dans le commerce, dont ChatGPT, sur des versions modifiées de dilemmes éthiques bien connus. L’équipe de recherche, dirigée par le Dr Eyal Klang, responsable de l’IA générative au Mount Sinai, et le Dr Girish Nadkarni, président du département Windreich d’IA et de santé humaine, a constaté que les systèmes d’IA commettaient fréquemment des erreurs élémentaires lorsqu’ils étaient confrontés à des scénarios légèrement modifiés.
Dans un exemple révélateur, les chercheurs ont adapté le célèbre dilemme du « chirurgien » en précisant explicitement que le père du garçon était le chirurgien. Malgré cette information claire, plusieurs modèles d’IA ont affirmé à tort que le chirurgien devait être la mère du garçon, illustrant la tendance de l’IA à s’accrocher à des schémas familiers même lorsqu’ils sont contredits par de nouvelles données.
Un autre test portait sur un scénario impliquant des parents religieux et une transfusion sanguine. Lorsque les chercheurs ont modifié la situation pour indiquer que les parents avaient déjà donné leur consentement à la procédure, de nombreux modèles d’IA ont tout de même recommandé de passer outre un refus qui n’existait plus.
« L’IA peut être très puissante et efficace, mais notre étude a montré qu’elle a tendance à privilégier la réponse la plus familière ou intuitive, même si cela conduit à négliger des détails essentiels », explique le Dr Klang. « Dans le domaine de la santé, où les décisions ont souvent des implications éthiques et cliniques majeures, passer à côté de ces nuances peut avoir de réelles conséquences pour les patients. »
La recherche s’est inspirée du livre de Daniel Kahneman, « Système 1 / Système 2 : Les deux vitesses de la pensée », qui oppose les réactions rapides et intuitives à un raisonnement plus lent et analytique. Les résultats suggèrent que les modèles d’IA, tout comme les humains, peuvent avoir du mal à passer d’un mode de pensée à l’autre.
Si les chercheurs soulignent que l’IA conserve des applications précieuses en médecine, ils insistent sur la nécessité d’une supervision humaine réfléchie, en particulier dans les situations nécessitant une sensibilité éthique ou un jugement nuancé. « Ces outils peuvent être d’une aide précieuse, mais ils ne sont pas infaillibles », rappelle le Dr Nadkarni. « L’IA doit être utilisée comme un complément pour renforcer l’expertise clinique, et non comme un substitut, surtout lorsqu’il s’agit de décisions complexes ou à fort enjeu. »