Onderzoekers van de Icahn School of Medicine at Mount Sinai hebben een gevaarlijk tekort blootgelegd in de manier waarop kunstmatige intelligentie medische ethische beslissingen neemt. Deze beperking kan ernstige gevolgen hebben voor de patiëntenzorg.
Het onderzoek, gepubliceerd op 22 juli 2025 in NPJ Digital Medicine, testte verschillende commercieel beschikbare grote taalmodellen (LLM's), waaronder ChatGPT, op aangepaste versies van bekende ethische dilemma's. Het onderzoeksteam, onder leiding van dr. Eyal Klang, Chief of Generative AI bij Mount Sinai, en dr. Girish Nadkarni, voorzitter van de Windreich Department of AI and Human Health, ontdekte dat AI-systemen vaak basale fouten maakten wanneer ze werden geconfronteerd met licht gewijzigde scenario's.
In een sprekend voorbeeld pasten de onderzoekers het klassieke 'Surgeon's Dilemma' aan door expliciet te vermelden dat de vader van een jongen de chirurg was. Ondanks deze duidelijke informatie beweerden verschillende AI-modellen ten onrechte dat de chirurg de moeder van de jongen moest zijn. Dit toont aan hoe AI kan vasthouden aan bekende patronen, zelfs als deze worden tegengesproken door nieuwe informatie.
Een andere test betrof een scenario over religieuze ouders en een bloedtransfusie. Toen de onderzoekers het scenario aanpasten en stelden dat de ouders al toestemming voor de ingreep hadden gegeven, adviseerden veel AI-modellen alsnog om een weigering te negeren die niet langer van toepassing was.
"AI kan zeer krachtig en efficiënt zijn, maar ons onderzoek laat zien dat het systeem vaak terugvalt op het meest bekende of intuïtieve antwoord, zelfs als daarbij belangrijke details over het hoofd worden gezien," legt dr. Klang uit. "In de gezondheidszorg, waar beslissingen vaak grote ethische en klinische gevolgen hebben, kan het missen van deze nuances echte consequenties hebben voor patiënten."
Het onderzoek is geïnspireerd door het boek 'Thinking, Fast and Slow' van Daniel Kahneman, waarin snelle, intuïtieve reacties worden afgezet tegen langzamere, analytische redenatie. De bevindingen suggereren dat AI-modellen, net als mensen, moeite kunnen hebben om tussen deze twee denkwijzen te schakelen.
Hoewel de onderzoekers benadrukken dat AI waardevolle toepassingen heeft in de geneeskunde, onderstrepen ze het belang van doordacht menselijk toezicht, vooral in situaties die ethische gevoeligheid of genuanceerd oordeel vereisen. "Deze tools kunnen ongelooflijk nuttig zijn, maar ze zijn niet onfeilbaar," merkt dr. Nadkarni op. "AI is het best te gebruiken als aanvulling op klinische expertise, niet als vervanging ervan, zeker bij complexe of cruciale beslissingen."