マウントサイナイ医科大学アイカーン校の研究者らは、人工知能が医療倫理の判断を下す際に危険な欠陥を抱えていることを明らかにし、患者ケアに重大な影響を及ぼしかねないAIの限界を示した。
この研究は2025年7月22日付でNPJ Digital Medicineに掲載され、市販されている複数の大規模言語モデル（LLM）、ChatGPTなどを用いて、よく知られた倫理的ジレンマをわずかに修正したシナリオでテストが行われた。研究チームは、マウントサイナイの生成AI部門責任者エヤル・クラング博士とAI・ヒューマンヘルス学科長ギリシュ・ナドカルニ博士が率い、AIシステムがシナリオを少し変更しただけで基本的な誤りを頻繁に犯すことを発見した。
特に顕著な例として、研究者らは有名な「外科医のジレンマ」パズルを修正し、「少年の父親が外科医である」と明記した。しかし、こうした明確な情報が与えられているにもかかわらず、複数のAIモデルは「外科医は少年の母親であるはずだ」と誤って主張し、新しい情報と矛盾していても馴染みのあるパターンに固執するAIの傾向が示された。
また、宗教的な両親と輸血に関するシナリオでは、研究者が「両親がすでに手術に同意している」と設定を変更したにもかかわらず、多くのAIモデルが「拒否を無視すべきだ」と、もはや存在しない拒否に基づく推奨を続けた。
クラング博士は「AIは非常に強力かつ効率的ですが、我々の研究では、重要な詳細を見落としていても最も馴染み深い、直感的な答えにデフォルトする傾向があることが分かりました」と説明。「医療現場では、判断が重大な倫理的・臨床的影響を持つことが多く、こうした微妙な違いを見逃すことは患者に実際の悪影響を及ぼしかねません」と警鐘を鳴らしている。
この研究は、ダニエル・カーネマン著『ファスト＆スロー』に着想を得ており、直感的な反応（速い思考）と分析的な推論（遅い思考）の対比を扱っている。今回の発見は、AIモデルも人間と同様に、この2つの思考モードを切り替えるのが難しい場合があることを示唆している。
研究者らはAIが医療分野で依然として有用であることを強調しつつも、特に倫理的な配慮や微妙な判断が求められる場面では、人間による慎重な監督が不可欠だと訴える。「これらのツールは非常に役立ちますが、決して万能ではありません」とナドカルニ博士は指摘。「AIは臨床専門性を高める補完的な存在として活用すべきであり、特に複雑または重要な判断を下す際には、その代替にはなり得ません」と述べている。