Forskare vid Icahn School of Medicine på Mount Sinai och Rabin Medical Center i Israel har upptäckt en oroande brist i hur artificiell intelligens hanterar medicinetiska beslut, något som potentiellt kan äventyra patientsäkerheten om det lämnas obeaktat.
Studien, som publicerades den 24 juli i npj Digital Medicine, testade flera kommersiella stora språkmodeller (LLM), inklusive ChatGPT, på lätt modifierade versioner av välkända etiska dilemman. Resultaten visade att AI konsekvent föll tillbaka på intuitiva men felaktiga svar, även när tydlig motsägande information presenterades.
"AI kan vara mycket kraftfull och effektiv, men vår studie visade att den tenderar att välja det mest bekanta eller intuitiva svaret, även när det svaret förbiser viktiga detaljer," förklarar medförfattaren Dr. Eyal Klang, chef för generativ AI vid Mount Sinais Windreich Department of Artificial Intelligence and Human Health. "Inom vården, där beslut har allvarliga etiska och kliniska konsekvenser, kan sådana förbiseenden få verkliga konsekvenser för patienter."
I ett avslöjande test modifierade forskarna det klassiska "kirurgens dilemma" genom att uttryckligen ange att pojkens far var kirurgen, vilket eliminerade all tvetydighet. Trots denna tydlighet hävdade flera AI-modeller ändå felaktigt att kirurgen måste vara pojkens mor, vilket visar hur AI kan hålla fast vid invanda mönster även när de motsägs av ny information.
På liknande sätt, när AI-modellerna ställdes inför ett scenario om religiösa föräldrar och blodtransfusion, rekommenderade de att föräldrarnas vägran skulle åsidosättas, även när scenariot tydligt angav att föräldrarna redan hade gett sitt samtycke till ingreppet.
"Enkla förändringar i välkända fall blottlade blinda fläckar som kliniker inte har råd med," påpekar huvudförfattaren Dr. Shelly Soffer från Rabin Medical Centers hematologiska institut. "Det understryker varför mänsklig övervakning måste vara central när vi inför AI i patientvården."
Forskarteamet, inspirerat av Daniel Kahnemans bok "Tänka, snabbt och långsamt", fann att AI uppvisar samma tendens till snabbt, intuitivt tänkande som människor gör, men ofta saknar förmågan att växla till mer eftertänksam och analytisk logik när det behövs.
Framöver planerar Mount Sinai-teamet att etablera ett "AI assurance lab" för att systematiskt utvärdera hur olika modeller hanterar verklighetens medicinska komplexitet. Forskarna betonar att AI bör komplettera klinisk expertis snarare än ersätta den, särskilt vid etiskt känsliga eller avgörande beslut.