マウントサイナイ医科大学アイカーン校およびイスラエルのラビン医療センターの研究者らは、人工知能が医療倫理の判断を下す際に重大な欠陥があることを発見した。これが放置されれば、患者ケアに悪影響を及ぼす可能性がある。
この研究は7月24日付でnpj Digital Medicine誌に掲載され、ChatGPTを含む複数の商用大規模言語モデル（LLM）を、よく知られた倫理的ジレンマをわずかに修正したバージョンでテストした。その結果、AIは明確に矛盾する情報が与えられても、直感的だが誤った回答に一貫して頼る傾向があることが判明した。
「AIは非常に強力かつ効率的ですが、我々の研究では、重要な細部を見落としていても最も馴染み深い、あるいは直感的な答えにデフォルトで戻ってしまうことが示されました」と、マウントサイナイAI・人間健康ウィンドライヒ部門の生成AI責任者、エヤル・クラング医師（共同上級著者）は説明する。「医療現場では、決定が重大な倫理的・臨床的影響を持つため、こうしたニュアンスの見落としは患者に実際の悪影響を及ぼしかねません。」
ある実験では、研究者らが「外科医のジレンマ」として知られる古典的なパズルを修正し、「少年の父親が外科医である」と明記した。にもかかわらず、複数のAIモデルが「外科医は少年の母親であるはずだ」と誤った主張を繰り返し、AIが新しい情報に反するパターンに固執する傾向を示した。
また、宗教的な両親と輸血に関するシナリオでは、両親がすでに同意していると明記されているにもかかわらず、AIモデルは親の拒否を無視して輸血を行うよう推奨した。
「よく知られたケースにちょっとした修正を加えるだけで、臨床医が見逃せない盲点が露呈しました」と、ラビン医療センター血液学研究所のシェリー・ソファー医師（筆頭著者）は指摘する。「AIを患者ケアに導入する際、人間による監督が中心であり続けるべき理由がここにあります。」
研究チームは、ダニエル・カーネマン著『ファスト＆スロー』に着想を得て、AIが人間と同様に「速い・直感的な思考」に頼る傾向がある一方で、必要な場面で「遅い・分析的な思考」に切り替える能力がしばしば欠如していることを突き止めた。
今後、マウントサイナイのチームは「AIアシュアランス・ラボ」を設立し、さまざまなモデルが現実の医療の複雑さにどう対応するかを体系的に評価する予定だ。研究者らは、特に倫理的に繊細または重大な意思決定において、AIは臨床専門知識を補完すべきであり、決して代替してはならないと強調している。