MITの新たな研究によると、医療画像を解析する人工知能（AI）システムに重大な欠陥があり、患者の安全を脅かす可能性があることが明らかになった。
本研究は大学院生のクマイル・アルハモウド氏と准教授のマルズィエ・ガセミ氏が主導したもので、医療現場で広く導入されているビジョン・ランゲージモデル（VLM）が、医療画像を解析する際に「no」や「not」といった否定語を根本的に理解できていないことを示している。
「否定語は非常に大きな影響を与えます。これらのモデルを盲目的に使うと、壊滅的な結果を招く可能性があります」と、筆頭著者のアルハモウド氏は警鐘を鳴らす。
研究チームは臨床例を用いてこの問題を実証した。たとえば、放射線科医が胸部X線画像を見て、組織の腫れはあるが心臓肥大は「ない」と判断した場合、AIシステムは両方の症状があるケースを誤って抽出し、全く異なる診断につながる恐れがある。実際に否定表現を含むタスクでこれらのAIモデルを検証したところ、ランダムな推測と同程度の精度しか示さなかった。
この重大な課題に対処するため、研究チームは「NegBench」と呼ばれる包括的な評価フレームワークを開発した。NegBenchは画像・動画・医療データセットにわたる18種類のタスクバリエーションと7万9,000件の例を含む。提案された解決策は、否定表現を含む数百万件のキャプションを用いてVLMを再学習させるもので、否定クエリのリコールを10%向上させ、否定キャプションを含む選択問題の正答率を28%向上させるなど、有望な成果が得られている。
「否定のような基本的な要素が破綻しているのであれば、現状のまま大規模なビジョン・ランゲージモデルを医療現場で評価なしに使うべきではありません」とガセミ氏は強調し、医療のような高リスク環境での慎重な評価の必要性を訴えている。
この研究にはOpenAIやオックスフォード大学の研究者も参加しており、成果は今後開催されるコンピュータビジョンとパターン認識に関する国際会議（CVPR）で発表される予定だ。研究チームは、この重大なAI安全性の課題に対処するため、ベンチマークとコードを一般公開している。