Výzkumníci z Icahn School of Medicine při Mount Sinai odhalili nebezpečnou slabinu v tom, jak umělá inteligence řeší rozhodování v oblasti lékařské etiky, což poukazuje na omezení, která mohou mít vážné důsledky pro péči o pacienty.
Studie, publikovaná 22. července 2025 v NPJ Digital Medicine, testovala několik komerčně dostupných velkých jazykových modelů (LLM), včetně ChatGPT, na upravených verzích známých etických dilemat. Výzkumný tým vedený doktorem Eyalem Klangem, šéfem generativní AI v Mount Sinai, a doktorem Girishem Nadkarnim, předsedou Windreich Department of AI and Human Health, zjistil, že AI systémy často dělají základní chyby, když čelí mírně pozměněným scénářům.
V jednom názorném příkladu výzkumníci upravili klasickou hádanku „Dilema chirurga“ tím, že výslovně uvedli, že chlapcův otec je chirurg. Navzdory této jasné informaci několik AI modelů chybně trvalo na tom, že chirurgem musí být chlapcova matka, což ukazuje, jak se AI může držet známých vzorců i tehdy, když jsou v rozporu s novými informacemi.
Další test zahrnoval scénář o nábožensky založených rodičích a transfuzi krve. Když výzkumníci změnili scénář tak, že rodiče již s výkonem souhlasili, mnoho AI modelů stále doporučovalo obejít odmítnutí, které už neexistovalo.
„AI může být velmi výkonná a efektivní, ale naše studie ukázala, že může sklouzávat k nejznámější nebo nejintuitivnější odpovědi, i když tato odpověď přehlíží klíčové detaily,“ vysvětlil Dr. Klang. „Ve zdravotnictví, kde rozhodnutí často nesou závažné etické a klinické důsledky, může přehlédnutí těchto nuancí mít reálný dopad na pacienty.“
Výzkum byl inspirován knihou Daniela Kahnemana „Myšlení, rychlé a pomalé“, která kontrastuje rychlé, intuitivní reakce s pomalejším, analytickým uvažováním. Zjištění naznačují, že AI modely, podobně jako lidé, mohou mít problém přepínat mezi těmito dvěma způsoby myšlení.
Ačkoliv výzkumníci zdůrazňují, že AI má stále cenné využití v medicíně, apelují na nutnost pečlivého lidského dohledu, zejména v situacích vyžadujících etickou citlivost nebo nuancované posouzení. „Tyto nástroje mohou být neuvěřitelně užitečné, ale nejsou neomylné,“ poznamenal Dr. Nadkarni. „AI je nejlepší využívat jako doplněk ke klinické odbornosti, nikoliv jako její náhradu, zvláště při řešení složitých nebo zásadních rozhodnutí.“