Несмотря на впечатляющий прогресс ИИ в генерации фрагментов кода, новое исследование MIT выявляет существенные барьеры на пути к по-настоящему автономной разработке программного обеспечения.
Работа под названием «Проблемы и пути развития ИИ для программной инженерии» выполнена командой под руководством профессора MIT Армандо Солар-Лесама и первого автора Алекса Гу. Исследование опубликовано 16 июля 2025 года и будет представлено на Международной конференции по машинному обучению (ICML 2025) в Ванкувере.
«Все говорят о том, что программисты больше не нужны, и теперь доступна вся эта автоматизация», — отмечает Солар-Лесама. — «С одной стороны, область действительно достигла огромного прогресса. У нас есть инструменты, намного мощнее всех, что были раньше. Но до полного воплощения обещаний автоматизации еще очень далеко».
Исследователи утверждают, что современные ИИ-системы хорошо справляются с генерацией небольших функций, но испытывают трудности с более широкими задачами программной инженерии, такими как масштабный рефакторинг, миграция кода и отладка сложных систем. Популярные бенчмарки, такие как SWE-Bench, проверяют лишь патчи для задач GitHub, затрагивающих несколько сотен строк кода, и не отражают реальные сценарии, когда требуется оптимизация или миграция миллионов строк из устаревших систем.
Еще одной серьезной проблемой является коммуникация между человеком и машиной. Гу описывает современное взаимодействие как «тонкую линию коммуникации», когда ИИ-инструменты часто выдают большие неструктурированные файлы с поверхностными тестами, не умея эффективно использовать отладчики и статические анализаторы, на которые полагаются разработчики.
Вместо единого решения авторы призывают к масштабным усилиям сообщества: созданию более насыщенных датасетов, отражающих, как разработчики пишут и рефакторят код со временем; формированию общих наборов тестов для оценки качества рефакторинга и долговечности исправлений; а также разработке прозрачных инструментов, которые показывают степень неопределенности моделей и приглашают к участию человека.
«Программное обеспечение уже лежит в основе финансов, транспорта, здравоохранения и множества других критически важных систем», — отмечает Солар-Лесама. Команда исследователей видит будущее, в котором ИИ берет на себя рутинные задачи разработки, позволяя инженерам сосредоточиться на высокоуровневых архитектурных решениях и сложных компромиссах, требующих человеческого суждения.