AIコーディングアシスタントが開発者の生産性を一律に高めるという通説に、一石を投じる画期的な研究結果が発表された。
Model Evaluation and Threat Research（METR）は、2025年初頭のAIツールが、熟練したオープンソース開発者の生産性にどのような影響を与えるかを、無作為化比較試験で検証した。驚くべきことに、AIツールを使用した場合、開発者は非使用時よりも19%多くの時間を要し、AIによって作業が遅くなったことが明らかになった。
調査では、16人の経験豊富なオープンソース開発者が、平均100万行超・22,000以上のGitHubスターを持つ成熟リポジトリで、246件の実際のコーディングタスクに取り組んだ。タスクごとにAIツールの使用可否を無作為に割り当て、開発者は主にCursor ProとClaude 3.5/3.7 Sonnetを2025年2月から6月にかけて利用した。
この結果は、参加した開発者自身も含め、関係者全員を驚かせた。タスク完了後、開発者たちはAIによって生産性が20%向上したと自己評価したが、実際のデータでは19%低下していた。これは、「AIで作業が速くなった」と感じていても、実際の効果とは大きく異なる可能性があることを示している。
METRの研究者は、作業が遅くなった要因として、AIへのプロンプト作成や応答待ちに多くの時間を費やし、実際のコーディング作業が減少した点を挙げている。2025年のAIコーディングツールが約束する「普遍的な生産性向上」に疑問を投げかける結果となった。
ただし、AIツールが広く無効というわけではない。METRは、馴染みのないコードベースや初期段階のプロジェクト、あるいは経験の浅いプログラマーにとっては、AIが進捗を加速させる可能性があると指摘している。今後は、こうしたケースを対象とした追加研究も計画中だ。また、今回の調査は2025年初頭のツールを対象としたものであり、より高速なモデルや統合の進化、プロンプト手法の改善によって状況が変わる可能性もある。
AIアシスタントを導入するチームにとって、今回のメッセージは明確だ。AIコーディングツールは進化を続けているものの、現時点では特に熟練エンジニアが既存のコードに取り組む場合、必ずしも作業速度の向上を保証しない。導入前には必ず自社環境で効果を検証し、体感速度だけに頼らず、実際のインパクトを測定することが重要である。