Forskare vid Icahn School of Medicine på Mount Sinai har avslöjat en farlig brist i hur artificiell intelligens hanterar medicinetiska beslut, vilket blottlägger begränsningar som kan få allvarliga konsekvenser för patientvården.
Studien, som publicerades den 22 juli 2025 i NPJ Digital Medicine, testade flera kommersiellt tillgängliga stora språkmodeller (LLM:er), inklusive ChatGPT, på modifierade versioner av välkända etiska dilemman. Forskarteamet, lett av Dr. Eyal Klang, chef för Generativ AI vid Mount Sinai, och Dr. Girish Nadkarni, ordförande för Windreich Department of AI and Human Health, fann att AI-system ofta gjorde grundläggande misstag när de ställdes inför lätt förändrade scenarier.
I ett avslöjande exempel modifierade forskarna det klassiska "kirurgens dilemma" genom att uttryckligen ange att pojkens far var kirurgen. Trots denna tydliga information hävdade flera AI-modeller felaktigt att kirurgen måste vara pojkens mor, vilket visar hur AI kan hålla fast vid invanda mönster även när dessa motsägs av ny information.
Ett annat test involverade ett scenario om religiösa föräldrar och en blodtransfusion. När forskarna ändrade scenariot så att föräldrarna redan hade samtyckt till ingreppet, rekommenderade många AI-modeller ändå att man skulle åsidosätta ett avslag som inte längre existerade.
"AI kan vara mycket kraftfull och effektiv, men vår studie visade att den kan falla tillbaka på det mest bekanta eller intuitiva svaret, även om det svaret förbiser avgörande detaljer," förklarade Dr. Klang. "Inom vården, där beslut ofta har allvarliga etiska och kliniska konsekvenser, kan sådana missade nyanser få verkliga följder för patienter."
Forskningen inspirerades av Daniel Kahnemans bok "Tänka, snabbt och långsamt", som kontrasterar snabba, intuitiva reaktioner med långsammare, analytiskt tänkande. Resultaten antyder att AI-modeller, precis som människor, kan ha svårt att växla mellan dessa två tankesätt.
Även om forskarna betonar att AI fortfarande har värdefulla tillämpningar inom medicinen, understryker de behovet av genomtänkt mänsklig övervakning, särskilt i situationer som kräver etisk känslighet eller nyanserad bedömning. "Dessa verktyg kan vara otroligt hjälpsamma, men de är inte ofelbara," påpekade Dr. Nadkarni. "AI används bäst som ett komplement för att stärka klinisk expertis, inte som en ersättning för den – särskilt när det gäller att navigera i komplexa eller avgörande beslut."