Forskere ved Icahn School of Medicine på Mount Sinai har afdækket en farlig svaghed i, hvordan kunstig intelligens håndterer medicinske etiske beslutninger, og afslører begrænsninger, der kan få alvorlige konsekvenser for patientbehandlingen.
Studiet, der blev offentliggjort den 22. juli 2025 i NPJ Digital Medicine, testede flere kommercielt tilgængelige store sprogmodeller (LLM'er), herunder ChatGPT, på modificerede versioner af velkendte etiske dilemmaer. Forskerholdet, ledet af Dr. Eyal Klang, chef for generativ AI på Mount Sinai, og Dr. Girish Nadkarni, leder af Windreich-afdelingen for AI og menneskers sundhed, fandt, at AI-systemer ofte begik grundlæggende fejl, når de blev konfronteret med let ændrede scenarier.
I et afslørende eksempel ændrede forskerne det klassiske "kirurgens dilemma" ved eksplicit at angive, at drengens far var kirurgen. På trods af denne tydelige information insisterede flere AI-modeller fejlagtigt på, at kirurgen måtte være drengens mor, hvilket viser, hvordan AI kan holde fast i velkendte mønstre, selv når de modsiges af ny information.
En anden test involverede et scenarie om religiøse forældre og en blodtransfusion. Da forskerne ændrede scenariet, så det fremgik, at forældrene allerede havde givet samtykke til indgrebet, anbefalede mange AI-modeller stadig at tilsidesætte et afslag, der ikke længere eksisterede.
"AI kan være meget kraftfuld og effektiv, men vores studie viste, at den kan falde tilbage på det mest velkendte eller intuitive svar, selv når dette svar overser vigtige detaljer," forklarer Dr. Klang. "I sundhedsvæsenet, hvor beslutninger ofte har alvorlige etiske og kliniske konsekvenser, kan det at overse disse nuancer få reelle konsekvenser for patienterne."
Forskningen var inspireret af Daniel Kahnemans bog "At tænke – hurtigt og langsomt", som kontrasterer hurtige, intuitive reaktioner med langsommere, analytisk tænkning. Resultaterne antyder, at AI-modeller, ligesom mennesker, kan have svært ved at skifte mellem disse to tænkemåder.
Selvom forskerne understreger, at AI stadig har værdifulde anvendelser i medicinen, pointerer de behovet for omhyggelig menneskelig overvågning, især i situationer, der kræver etisk følsomhed eller nuanceret dømmekraft. "Disse værktøjer kan være utroligt hjælpsomme, men de er ikke ufejlbarlige," bemærker Dr. Nadkarni. "AI bør bruges som et supplement til at styrke klinisk ekspertise – ikke som en erstatning for den, især når man skal navigere i komplekse eller risikofyldte beslutninger."