Новаторское исследование поставило под сомнение распространённое мнение о том, что ИИ-ассистенты для программирования всегда повышают производительность разработчиков.
Группа Model Evaluation and Threat Research (METR) провела рандомизированное контролируемое исследование, чтобы измерить, как ИИ-инструменты начала 2025 года влияют на продуктивность опытных разработчиков с открытым исходным кодом, работающих в своих собственных репозиториях. Неожиданно выяснилось, что при использовании ИИ-инструментов разработчики тратили на выполнение задач на 19% больше времени — ИИ фактически замедлял их работу.
В исследовании отслеживали работу 16 опытных разработчиков, которые выполняли 246 реальных задач на зрелых репозиториях с более чем миллионом строк кода и 22 000+ звёзд на GitHub. Задачи случайным образом распределялись между условиями с разрешённым и запрещённым использованием ИИ-инструментов. В основном использовались Cursor Pro с Claude 3.5 и 3.7 Sonnet в период с февраля по июнь 2025 года.
Результаты удивили всех, включая самих участников. Даже после завершения работы разработчики оценивали, что ИИ повысил их продуктивность на 20%, хотя данные явно указывали на снижение на 19%. Это подчёркивает важный вывод: когда люди говорят, что ИИ ускорил их работу, они могут сильно заблуждаться относительно реального эффекта.
Исследователи METR выделили несколько возможных причин замедления. Разработчики тратили гораздо больше времени на формулировку запросов к ИИ и ожидание ответов, чем на непосредственное программирование. Это ставит под вопрос универсальные обещания роста производительности от ИИ-инструментов для кодирования в 2025 году.
Однако это не означает, что ИИ-инструменты в целом неэффективны. METR отмечает, что в незнакомых кодовых базах, на ранних этапах проектов или для менее опытных программистов ИИ всё ещё может ускорять работу. Исследователи планируют дальнейшие эксперименты для изучения этих случаев. Также они подчёркивают, что исследование отражает ситуацию с инструментами начала 2025 года, и более быстрые модели, лучшая интеграция или улучшенные практики работы с ИИ могут изменить картину.
Для команд, внедряющих ИИ-ассистентов, вывод однозначен: инструменты программирования на базе ИИ продолжают развиваться, но в нынешнем виде они не гарантируют ускорения работы — особенно для опытных инженеров, хорошо знакомых с кодовой базой. Организациям стоит тестировать эти решения на практике, измерять их реальное влияние и не полагаться только на субъективное ощущение скорости.