Naukowcy z Icahn School of Medicine at Mount Sinai oraz Rabin Medical Center w Izraelu odkryli niepokojącą wadę w sposobie, w jaki sztuczna inteligencja radzi sobie z decyzjami etycznymi w medycynie, co w przypadku braku kontroli może zagrażać bezpieczeństwu pacjentów.
Badanie, opublikowane 24 lipca w npj Digital Medicine, przetestowało kilka komercyjnych dużych modeli językowych (LLM), w tym ChatGPT, na lekko zmodyfikowanych wersjach znanych dylematów etycznych. Wyniki pokazały, że AI konsekwentnie wybierała intuicyjne, lecz błędne odpowiedzi, nawet gdy przedstawiano jej wyraźnie sprzeczne informacje.
„AI może być bardzo potężna i wydajna, ale nasze badanie pokazało, że może domyślnie wybierać najbardziej znaną lub intuicyjną odpowiedź, nawet jeśli pomija ona kluczowe szczegóły” – wyjaśnił dr Eyal Klang, współautor badania i szef ds. generatywnej AI w Windreich Department of Artificial Intelligence and Human Health w Mount Sinai. „W opiece zdrowotnej, gdzie decyzje mają poważne konsekwencje etyczne i kliniczne, przeoczenie tych niuansów może mieć realny wpływ na pacjentów.”
W jednym z testów naukowcy zmodyfikowali klasyczną zagadkę „Dylemat Chirurga”, wyraźnie zaznaczając, że ojciec chłopca był chirurgiem, eliminując wszelką dwuznaczność. Pomimo tej jasności, kilka modeli AI nadal błędnie upierało się, że chirurgiem musi być matka chłopca, co pokazuje, jak AI potrafi trzymać się znanych schematów nawet wbrew nowym informacjom.
Podobnie, w scenariuszu dotyczącym religijnych rodziców i transfuzji krwi, modele AI zalecały zignorowanie odmowy rodziców, nawet gdy w opisie jasno stwierdzono, że rodzice już wyrazili zgodę na zabieg.
„Proste modyfikacje znanych przypadków ujawniły luki, na które klinicyści nie mogą sobie pozwolić” – zauważyła dr Shelly Soffer, główna autorka badania z Instytutu Hematologii Rabin Medical Center. „To podkreśla, dlaczego nadzór człowieka musi pozostać kluczowy przy wdrażaniu AI w opiece nad pacjentem.”
Zespół badawczy, inspirowany książką Daniela Kahnemana „Pułapki myślenia. O myśleniu szybkim i wolnym”, odkrył, że AI wykazuje tę samą tendencję do szybkiego, intuicyjnego myślenia, co ludzie, ale często brakuje jej zdolności do przejścia na bardziej analityczne i rozważne rozumowanie, gdy jest to potrzebne.
W przyszłości zespół z Mount Sinai planuje utworzyć „laboratorium zapewnienia jakości AI”, które będzie systematycznie oceniać, jak różne modele radzą sobie ze złożonością rzeczywistych przypadków medycznych. Naukowcy podkreślają, że AI powinna uzupełniać wiedzę kliniczną, a nie ją zastępować, zwłaszcza w decyzjach etycznie wrażliwych lub o wysokiej stawce.