Учёные из медицинской школы Икана при Mount Sinai выявили опасный изъян в том, как искусственный интеллект принимает решения в области медицинской этики, обнаружив ограничения, которые могут иметь серьёзные последствия для ухода за пациентами.
Исследование, опубликованное 22 июля 2025 года в журнале NPJ Digital Medicine, протестировало несколько коммерчески доступных языковых моделей (LLM), включая ChatGPT, на модифицированных версиях известных этических дилемм. Команда исследователей под руководством доктора Эяла Кланга, руководителя отдела генеративного ИИ в Mount Sinai, и доктора Гириш Надкарни, заведующего кафедрой искусственного интеллекта и здоровья человека Windreich, обнаружила, что ИИ-системы часто допускали базовые ошибки при столкновении с немного изменёнными сценариями.
В одном из показательных примеров исследователи изменили классическую задачу «Дилемма хирурга», явно указав, что отец мальчика — хирург. Несмотря на это, несколько ИИ-моделей ошибочно настаивали на том, что хирургом должна быть мать мальчика, что демонстрирует склонность ИИ придерживаться знакомых шаблонов даже при наличии новой информации, противоречащей им.
В другом тесте рассматривался сценарий с религиозными родителями и переливанием крови. Когда исследователи изменили ситуацию, указав, что родители уже дали согласие на процедуру, многие ИИ-модели всё равно рекомендовали преодолеть отказ, которого уже не было.
«ИИ может быть очень мощным и эффективным, но наше исследование показало, что он склонен выбирать самый знакомый или интуитивный ответ, даже если при этом упускаются важные детали», — объяснил доктор Кланг. — «В здравоохранении, где решения часто имеют серьёзные этические и клинические последствия, игнорирование этих нюансов может реально повлиять на пациентов».
Вдохновением для исследования послужила книга Даниэля Канемана «Думай медленно... решай быстро», в которой противопоставляются быстрые, интуитивные реакции и медленное, аналитическое мышление. Полученные данные свидетельствуют о том, что ИИ-модели, подобно людям, испытывают трудности при переключении между этими двумя режимами мышления.
Хотя исследователи подчёркивают, что ИИ по-прежнему имеет ценное применение в медицине, они настаивают на необходимости вдумчивого человеческого контроля, особенно в ситуациях, требующих этической чуткости или тонкой оценки. «Эти инструменты могут быть невероятно полезны, но они не безошибочны», — отметил доктор Надкарни. — «ИИ лучше всего использовать как дополнение для усиления клинической экспертизы, а не в качестве её замены, особенно при решении сложных или критически важных задач».