Революційне дослідження поставило під сумнів поширену думку про те, що асистенти на основі штучного інтелекту завжди підвищують продуктивність програмістів.
Model Evaluation and Threat Research (METR) провела рандомізоване контрольоване випробування, щоб виміряти, як інструменти ШІ початку 2025 року впливають на продуктивність досвідчених розробників з відкритим кодом, які працюють у власних репозиторіях. Неочікувано з’ясувалося, що з використанням ШІ програмісти виконували завдання на 19% довше, тобто ШІ фактично сповільнював їхню роботу.
У дослідженні взяли участь 16 досвідчених розробників з відкритим кодом, які виконали 246 реальних завдань у зрілих репозиторіях із середнім обсягом понад мільйон рядків коду та 22 000+ зірок на GitHub. Завдання випадковим чином розподілялися на ті, де дозволялося або заборонялося використання ШІ. Основним інструментом був Cursor Pro із Claude 3.5 та 3.7 Sonnet у період з лютого по червень 2025 року.
Результати здивували всіх, включно з учасниками дослідження. Навіть після завершення завдань програмісти вважали, що ШІ підвищив їхню продуктивність на 20%, хоча дані чітко показали зниження на 19%. Це підкреслює важливий висновок: коли люди повідомляють, що ШІ пришвидшив їхню роботу, вони можуть повністю помилятися щодо реального ефекту.
Дослідники METR визначили кілька можливих причин такого сповільнення. Програмісти витрачали значно більше часу на формулювання запитів до ШІ та очікування відповідей, а не на безпосереднє написання коду. Це ставить під сумнів універсальність обіцяного зростання продуктивності від інструментів ШІ у 2025 році.
Втім, це не означає, що інструменти ШІ загалом неефективні. METR зазначає, що у незнайомих кодових базах, на ранніх етапах проєктів або для менш досвідчених програмістів ШІ може дійсно прискорити роботу. Дослідники планують майбутні експерименти для вивчення таких випадків. Вони також наголошують, що це був лише зріз інструментів початку 2025 року, і швидші моделі, краща інтеграція чи вдосконалені практики формулювання запитів можуть змінити ситуацію.
Для команд, які впроваджують асистентів на основі ШІ, висновок очевидний: інструменти для програмування з ШІ продовжують розвиватися, але у нинішньому вигляді вони не гарантують пришвидшення — особливо для досвідчених інженерів, які працюють із добре знайомим кодом. Організаціям варто тестувати ці рішення у власному середовищі, вимірювати реальний ефект і не покладатися лише на суб’єктивне відчуття швидкості.