Forschende der Icahn School of Medicine am Mount Sinai und des Rabin Medical Center in Israel haben einen besorgniserregenden Mangel in der Art und Weise entdeckt, wie künstliche Intelligenz medizinethische Entscheidungen trifft – ein Mangel, der die Patientenversorgung gefährden könnte, wenn er nicht behoben wird.
Die am 24. Juli in npj Digital Medicine veröffentlichte Studie testete mehrere kommerzielle Large Language Models (LLMs), darunter ChatGPT, anhand leicht abgewandelter Versionen bekannter ethischer Dilemmata. Die Ergebnisse zeigten, dass KI-Modelle konsequent auf intuitive, aber falsche Antworten zurückgriffen – selbst dann, wenn ihnen eindeutig widersprüchliche Informationen vorlagen.
„KI kann sehr leistungsfähig und effizient sein, aber unsere Studie hat gezeigt, dass sie dazu neigt, auf die vertrauteste oder intuitivste Antwort zurückzugreifen – selbst wenn diese wichtige Details außer Acht lässt“, erklärt Dr. Eyal Klang, Co-Senior-Autor und Chief of Generative AI am Windreich Department of Artificial Intelligence and Human Health des Mount Sinai. „Im Gesundheitswesen, wo Entscheidungen schwerwiegende ethische und klinische Folgen haben, kann das Übersehen solcher Nuancen reale Konsequenzen für Patienten haben.“
In einem aufschlussreichen Test modifizierten die Forschenden das klassische Rätsel des „Chirurgen-Dilemmas“, indem sie explizit angaben, dass der Vater des Jungen der Chirurg ist – jede Mehrdeutigkeit wurde entfernt. Dennoch beharrten mehrere KI-Modelle fälschlicherweise darauf, der Chirurg müsse die Mutter des Jungen sein. Dies zeigt, wie KI an vertrauten Mustern festhält, selbst wenn neue Informationen diese widerlegen.
Ähnlich verhielten sich die Modelle bei einem Szenario, in dem religiöse Eltern einer Bluttransfusion zustimmten: Die KI empfahl dennoch, den elterlichen Widerstand zu übergehen, obwohl im Fall klar stand, dass die Eltern bereits eingewilligt hatten.
„Schon kleine Änderungen an bekannten Fällen offenbaren blinde Flecken, die sich Kliniker nicht leisten können“, betont Dr. Shelly Soffer, Erstautorin vom Institut für Hämatologie des Rabin Medical Center. „Das unterstreicht, warum menschliche Aufsicht beim Einsatz von KI in der Patientenversorgung zentral bleiben muss.“
Das Forschungsteam, inspiriert von Daniel Kahnemans Buch „Schnelles Denken, langsames Denken“, stellte fest, dass KI dieselbe Tendenz zu schnellem, intuitivem Denken wie Menschen zeigt – ihr aber oft die Fähigkeit fehlt, bei Bedarf in eine überlegte, analytische Denkweise zu wechseln.
Für die Zukunft plant das Mount Sinai-Team die Einrichtung eines „AI Assurance Lab“, um systematisch zu untersuchen, wie verschiedene Modelle mit der medizinischen Komplexität der Praxis umgehen. Die Forschenden betonen, dass KI die klinische Expertise ergänzen, aber nicht ersetzen sollte – insbesondere bei ethisch sensiblen oder folgenschweren Entscheidungen.