Революционно проучване оспорва широко разпространеното схващане, че AI асистентите за програмиране повишават продуктивността на разработчиците във всички случаи.
Model Evaluation and Threat Research (METR) проведе рандомизирано контролирано изпитване, за да измери как инструментите с изкуствен интелект от началото на 2025 г. влияят върху продуктивността на опитни разработчици на отворен код, работещи по собствените си хранилища. Изненадващо, резултатите показват, че когато разработчиците използват AI инструменти, те завършват задачите си с 19% по-бавно – AI всъщност ги забавя.
Изследването проследява 16 опитни разработчици на отворен код, докато изпълняват 246 реални задачи по зрели хранилища със средно над един милион реда код и повече от 22 000 GitHub звезди. Задачите са били разпределени на случаен принцип – с или без разрешено използване на AI инструменти, като основно са използвани Cursor Pro с Claude 3.5 и 3.7 Sonnet в периода февруари-юни 2025 г.
Резултатите изненадват всички, включително и самите участници. Дори след приключване на задачите, разработчиците са оценили, че AI е увеличил продуктивността им с 20%, докато данните ясно показват спад от 19%. Това подчертава ключов извод: когато хората твърдят, че AI е ускорил работата им, те може напълно да грешат относно реалния ефект.
Изследователите от METR посочват няколко възможни причини за забавянето. Програмистите са прекарвали значително повече време в писане на подсказки към AI и чакане на отговори, вместо реално да кодират. Проучването поставя важни въпроси относно предполагаемите универсални ползи за продуктивността от AI инструментите за програмиране през 2025 г.
Това обаче не означава, че AI инструментите са неефективни във всички случаи. METR отбелязва, че при непознати кодови бази, ранни етапи на проекти или за по-малко опитни програмисти, AI може да ускори напредъка. Изследователите планират бъдещи проучвания, за да изследват тези случаи. Те подчертават също, че това е снимка на инструментите от началото на 2025 г. – по-бързи модели, по-добра интеграция или усъвършенствани практики за работа с AI могат да променят уравнението.
За екипите, които внедряват AI асистенти, посланието е ясно: AI инструментите за програмиране продължават да се развиват, но в сегашния си вид не гарантират по-висока скорост – особено за опитни инженери, работещи по код, който вече познават. Организациите трябва да тестват, преди да се доверят, да измерват ефекта в реалната си среда и да не разчитат само на възприетата скорост.