Výzkumníci z Icahn School of Medicine při Mount Sinai a Rabin Medical Center v Izraeli odhalili znepokojivý nedostatek v tom, jak umělá inteligence zvládá rozhodování v oblasti lékařské etiky, což by v případě přehlížení mohlo ohrozit péči o pacienty.
Studie, publikovaná 24. července v časopise npj Digital Medicine, testovala několik komerčních velkých jazykových modelů (LLM), včetně ChatGPT, na mírně upravených verzích známých etických dilemat. Výsledky ukázaly, že AI modely konzistentně sklouzávaly k intuitivním, avšak nesprávným odpovědím, i když byly konfrontovány se zjevně protichůdnými informacemi.
"AI může být velmi výkonná a efektivní, ale naše studie ukázala, že může automaticky volit nejznámější nebo nejintuitivnější odpověď, i když tato odpověď přehlíží klíčové detaily," vysvětlil spoluvedoucí autor Dr. Eyal Klang, vedoucí generativní AI na Windreich Department of Artificial Intelligence and Human Health při Mount Sinai. "Ve zdravotnictví, kde rozhodnutí nesou vážné etické a klinické důsledky, může přehlédnutí těchto nuancí mít skutečné následky pro pacienty."
V jednom z klíčových testů výzkumníci upravili klasickou hádanku "Chirurgovo dilema" tím, že výslovně uvedli, že chlapcův otec je chirurgem, čímž odstranili veškerou nejasnost. Přesto několik AI modelů stále chybně trvalo na tom, že chirurgem musí být chlapcova matka, což ukazuje, jak se AI může držet známých vzorců i v případě, že jsou v rozporu s novými informacemi.
Podobně, když byly modely konfrontovány se scénářem o náboženských rodičích a transfuzi krve, AI doporučovaly přehlasovat odmítnutí rodičů, i když scénář jasně uváděl, že rodiče již s výkonem souhlasili.
"Jednoduché úpravy známých případů odhalily slepá místa, která si klinici nemohou dovolit přehlížet," poznamenala hlavní autorka Dr. Shelly Soffer z Institutu hematologie Rabin Medical Center. "To podtrhuje, proč musí lidský dohled zůstat stěžejní při nasazení AI v péči o pacienty."
Výzkumný tým, inspirovaný knihou Daniela Kahnemana "Myšlení, rychlé a pomalé", zjistil, že AI vykazuje stejnou tendenci k rychlému, intuitivnímu myšlení jako lidé, ale často jí chybí schopnost přepnout na hlubší analytické uvažování, když je to potřeba.
Do budoucna plánuje tým z Mount Sinai založit "laboratoř pro ověřování AI", která bude systematicky hodnotit, jak různé modely zvládají složitost reálných lékařských situací. Výzkumníci zdůrazňují, že AI by měla doplňovat klinickou odbornost, nikoliv ji nahrazovat, zejména v eticky citlivých nebo vysoce rizikových rozhodnutích.