Onderzoekers van de Icahn School of Medicine at Mount Sinai en het Rabin Medical Center in Israël hebben een zorgwekkend gebrek ontdekt in de manier waarop kunstmatige intelligentie medische ethische beslissingen neemt, wat mogelijk de patiëntenzorg in gevaar kan brengen als hier geen toezicht op is.
De studie, gepubliceerd op 24 juli in npj Digital Medicine, testte verschillende commerciële grote taalmodellen (LLM's), waaronder ChatGPT, op licht aangepaste versies van bekende ethische dilemma's. De resultaten toonden aan dat AI consequent terugviel op intuïtieve maar onjuiste antwoorden, zelfs wanneer er duidelijke tegenstrijdige informatie werd gegeven.
"AI kan zeer krachtig en efficiënt zijn, maar onze studie liet zien dat het model mogelijk standaard kiest voor het meest bekende of intuïtieve antwoord, zelfs als die reactie essentiële details over het hoofd ziet," legt mede-hoofdauteur Dr. Eyal Klang uit, Chief of Generative AI bij de Windreich Department of Artificial Intelligence and Human Health van Mount Sinai. "In de gezondheidszorg, waar beslissingen grote ethische en klinische gevolgen kunnen hebben, kan het missen van deze nuances echte consequenties hebben voor patiënten."
In een sprekende test pasten de onderzoekers de klassieke 'Surgeon's Dilemma' aan door expliciet te vermelden dat de vader van de jongen de chirurg was, waarmee alle onduidelijkheid werd weggenomen. Ondanks deze helderheid bleven verschillende AI-modellen toch volhouden dat de chirurg de moeder van de jongen moest zijn, wat aantoont dat AI kan vasthouden aan bekende patronen, zelfs als deze worden tegengesproken door nieuwe informatie.
Op vergelijkbare wijze, toen de AI-modellen werden geconfronteerd met een scenario over religieuze ouders en een bloedtransfusie, adviseerden zij om het ouderlijk bezwaar te negeren, zelfs wanneer in het scenario duidelijk stond dat de ouders al toestemming hadden gegeven voor de ingreep.
"Eenvoudige aanpassingen aan bekende casussen legden blinde vlekken bloot die clinici zich niet kunnen veroorloven," merkt eerste auteur Dr. Shelly Soffer op van het Institute of Hematology van het Rabin Medical Center. "Het onderstreept waarom menselijke controle centraal moet blijven staan wanneer we AI inzetten in de patiëntenzorg."
Het onderzoeksteam, geïnspireerd door het boek 'Thinking, Fast and Slow' van Daniel Kahneman, ontdekte dat AI hetzelfde neigt naar snel, intuïtief denken als mensen, maar vaak het vermogen mist om over te schakelen naar meer doordachte, analytische redenering wanneer dat nodig is.
Vooruitkijkend is het Mount Sinai-team van plan een 'AI assurance lab' op te zetten om systematisch te evalueren hoe verschillende modellen omgaan met de complexiteit van de echte medische praktijk. De onderzoekers benadrukken dat AI een aanvulling moet zijn op klinische expertise, en deze niet mag vervangen, vooral niet bij ethisch gevoelige of risicovolle beslissingen.