Revolucionarna studija dovela je u pitanje prevladavajući narativ o tome kako AI asistenti za programiranje povećavaju produktivnost programera u svim slučajevima.
Model Evaluation and Threat Research (METR) proveo je randomizirano kontrolirano ispitivanje kako bi izmjerio utjecaj AI alata ranih iz 2025. na produktivnost iskusnih open-source programera koji rade na vlastitim repozitorijima. Iznenađujuće, otkrili su da su programeri koristeći AI alate trebali 19% više vremena nego bez njih—AI ih je zapravo usporio.
Istraživanje je pratilo 16 iskusnih open-source programera dok su rješavali 246 stvarnih programerskih zadataka na zrelim repozitorijima s prosječno više od milijun linija koda i 22.000+ GitHub zvjezdica. Zadaci su nasumično dodjeljivani tako da je bilo dopušteno ili zabranjeno korištenje AI alata, a programeri su primarno koristili Cursor Pro s Claude 3.5 i 3.7 Sonnetom tijekom razdoblja od veljače do lipnja 2025.
Rezultati su iznenadili sve, uključujući i same sudionike studije. Čak i nakon dovršetka zadataka, programeri su procijenili da im je AI povećao produktivnost za 20%, dok su podaci jasno pokazali pad od 19%. Ovo naglašava ključan uvid: kada ljudi tvrde da im je AI ubrzao rad, možda su potpuno u krivu u vezi stvarnog učinka.
Istraživači iz METR-a identificirali su nekoliko mogućih razloga za usporavanje. Programeri su znatno više vremena provodili u promptanju AI-ja i čekanju odgovora, umjesto u stvarnom kodiranju. Studija otvara važna pitanja o navodnim univerzalnim dobitcima produktivnosti koje AI alati za programiranje obećavaju u 2025.
Ipak, to ne znači da su AI alati općenito neučinkoviti. METR napominje da bi u nepoznatim bazama koda, ranim fazama projekata ili za manje iskusne programere AI mogao ipak ubrzati napredak. Istraživači planiraju buduća istraživanja kako bi proučili te slučajeve. Također naglašavaju da je ovo bio presjek alata iz ranog 2025., te da bi brži modeli, bolja integracija ili poboljšane prakse promptanja mogli promijeniti rezultate.
Za timove koji uvode AI asistente, poruka je jasna: AI alati za programiranje i dalje se razvijaju, ali u svom trenutnom obliku ne jamče ubrzanje rada—posebno za iskusne inženjere koji rade na kodu koji već dobro poznaju. Organizacije bi trebale testirati prije nego što povjeruju, mjeriti učinak u svom stvarnom okruženju i ne oslanjati se samo na percipiranu brzinu.