Prelomová štúdia spochybnila rozšírený naratív o tom, že AI asistenti zvyšujú produktivitu programátorov vo všetkých prípadoch.
Organizácia Model Evaluation and Threat Research (METR) uskutočnila randomizovanú kontrolovanú štúdiu, ktorá merala, ako AI nástroje začiatku roka 2025 ovplyvňujú produktivitu skúsených open-source vývojárov pracujúcich na vlastných repozitároch. Prekvapivo zistili, že keď vývojári používali AI nástroje, trvalo im splnenie úloh o 19 % dlhšie než bez nich—AI ich v skutočnosti spomalila.
Výskum sledoval 16 ostrieľaných open-source vývojárov, ktorí riešili 246 reálnych programátorských úloh na zrelých repozitároch s priemerne viac ako miliónom riadkov kódu a vyše 22 000 GitHub hviezdičkami. Úlohy boli náhodne priradené tak, aby buď povoľovali, alebo zakazovali použitie AI nástrojov. Počas februára až júna 2025 vývojári najčastejšie používali Cursor Pro s Claude 3.5 a 3.7 Sonnet.
Výsledky prekvapili všetkých, vrátane samotných účastníkov štúdie. Aj po dokončení úloh vývojári odhadovali, že im AI zvýšila produktivitu o 20 %, hoci dáta jasne ukázali 19 % pokles. To poukazuje na zásadný poznatok: keď ľudia tvrdia, že im AI zrýchlila prácu, môžu sa v skutočnosti úplne mýliť o jej reálnom vplyve.
Výskumníci z METR identifikovali viacero možných dôvodov tohto spomalenia. Vývojári trávili oveľa viac času písaním promptov pre AI a čakaním na odpovede namiesto samotného programovania. Štúdia otvára dôležité otázky o údajne univerzálnych prínosoch AI nástrojov pre produktivitu v roku 2025.
To však neznamená, že AI nástroje sú vo všeobecnosti neúčinné. METR upozorňuje, že pri neznámom kóde, v počiatočných fázach projektov alebo pre menej skúsených programátorov môže AI naopak zrýchliť prácu. Výskumníci plánujú ďalšie štúdie, ktoré tieto prípady preskúmajú. Zdôrazňujú tiež, že išlo o pohľad na nástroje z začiatku roka 2025—a rýchlejšie modely, lepšia integrácia či efektívnejšie promptovanie môžu situáciu zmeniť.
Pre tímy nasadzujúce AI asistentov je odkaz jasný: AI nástroje na programovanie sa neustále vyvíjajú, no v súčasnej podobe nezaručujú zrýchlenie práce—najmä pre skúsených inžinierov pracujúcich na známom kóde. Organizácie by mali pred dôverou testovať, merať reálny vplyv vo vlastnom prostredí a nespoliehať sa len na subjektívny pocit rýchlosti.