Forskere fra Icahn School of Medicine ved Mount Sinai og Rabin Medical Center i Israel har opdaget en bekymrende svaghed i, hvordan kunstig intelligens håndterer medicinsk-etiske beslutninger – en svaghed, der potentielt kan bringe patientsikkerheden i fare, hvis den ikke adresseres.
Studiet, offentliggjort den 24. juli i npj Digital Medicine, testede flere kommercielle store sprogmodeller (LLM’er), herunder ChatGPT, på let modificerede versioner af velkendte etiske dilemmaer. Resultaterne viste, at AI konsekvent valgte intuitive, men forkerte svar – selv når den fik præsenteret information, der klart modsagde det velkendte svar.
"AI kan være meget kraftfuld og effektiv, men vores studie viste, at den ofte vælger det mest velkendte eller intuitive svar, selv når dette overser vigtige detaljer," forklarer medforfatter Dr. Eyal Klang, chef for Generativ AI ved Mount Sinai’s Windreich Department of Artificial Intelligence and Human Health. "I sundhedsvæsenet, hvor beslutninger har alvorlige etiske og kliniske konsekvenser, kan det at overse disse nuancer få reelle konsekvenser for patienterne."
I en afslørende test ændrede forskerne det klassiske "Kirurgens Dilemma" ved eksplicit at angive, at drengens far var kirurgen, hvilket fjernede enhver tvetydighed. På trods af denne klarhed insisterede flere AI-modeller stadig fejlagtigt på, at kirurgen måtte være drengens mor – et eksempel på, hvordan AI kan holde fast i velkendte mønstre, selv når de modsiges af nye oplysninger.
Ligeledes anbefalede AI-modellerne i et scenarie om religiøse forældre og en blodtransfusion at tilsidesætte forældrenes afslag, selvom det klart fremgik, at forældrene allerede havde givet samtykke til indgrebet.
"Små ændringer i velkendte cases afslørede blinde vinkler, som klinikere ikke har råd til at overse," påpeger hovedforfatter Dr. Shelly Soffer fra Rabin Medical Centers Institut for Hæmatologi. "Det understreger, hvorfor menneskelig overvågning fortsat skal være central, når vi implementerer AI i patientbehandling."
Forskerholdet, inspireret af Daniel Kahnemans bog "Thinking, Fast and Slow", fandt, at AI udviser samme tendens til hurtig, intuitiv tænkning som mennesker, men ofte mangler evnen til at skifte til mere overvejet, analytisk ræsonnement, når det er nødvendigt.
Fremadrettet planlægger Mount Sinai-teamet at etablere et "AI assurance lab" for systematisk at evaluere, hvordan forskellige modeller håndterer medicinsk kompleksitet i virkeligheden. Forskerne understreger, at AI bør supplere – ikke erstatte – klinisk ekspertise, især i etisk følsomme eller kritiske beslutninger.