AIによるコードスニペット生成は目覚ましい進歩を遂げているが、MITの新たな研究は、真に自律的なソフトウェア工学の実現には依然として大きな障壁が存在することを明らかにした。
「AIによるソフトウェア工学への課題と道筋」と題されたこの研究は、MITのアルマンド・ソーラー＝レザマ教授と筆頭著者アレックス・グー氏率いるチームによって実施された。2025年7月16日に発表され、バンクーバーで開催される国際機械学習会議（ICML 2025）で発表される予定だ。
「今や誰もが『プログラマーはもう不要だ』とか、『自動化がここまで進んだ』と話しています」とソーラー＝レザマ教授は語る。「確かに、分野としては大きな進歩を遂げました。これまでにないほど強力なツールが登場しています。しかし、本当に期待される自動化の完全な実現には、まだ長い道のりが残されています。」
研究チームは、現在のAIシステムが小規模なコード関数の生成には優れている一方で、大規模なリファクタリングやコード移行、複雑なシステムのデバッグといった広範なソフトウェア工学タスクには苦戦していると指摘する。SWE-Benchのような一般的なベンチマークは、数百行規模のGitHub課題のパッチのみをテストしており、実際には数百万行に及ぶ最適化やレガシーシステムからの移行といった現実のシナリオを捉えきれていない。
人間と機械のコミュニケーションも大きな課題の一つだ。グー氏は、現状のやりとりを「ごく細いコミュニケーションライン」と表現し、AIツールがしばしば大きく非構造的なファイルや表面的なテストを生成する一方で、人間の開発者が頼りにするデバッグツールや静的解析ツールを効果的に活用できていないと指摘する。
研究チームは単一の解決策を提示するのではなく、コミュニティ規模での取り組みを提案している。具体的には、開発者がどのようにコードを書き、リファクタリングしていくかを時系列で捉えた豊かなデータセットの構築、リファクタリングの質やバグ修正の持続性を評価する共通の評価スイートの作成、モデルの不確実性を可視化し人間のガイダンスを促す透明性の高いツールの開発などが挙げられる。
「ソフトウェアは既に金融、交通、医療など、数え切れないほど多くの重要なシステムを支えています」とソーラー＝レザマ教授は述べる。研究チームは、AIが日常的な開発作業を担い、人間のエンジニアが高次の設計判断や複雑なトレードオフといった人間の判断力を要する領域に集中できる未来を展望している。