En banbrytande studie utmanar den rådande bilden av att AI-assistenter för kodning generellt ökar utvecklares produktivitet.
Model Evaluation and Threat Research (METR) genomförde en randomiserad kontrollerad studie för att mäta hur AI-verktyg i början av 2025 påverkar produktiviteten hos erfarna open source-utvecklare som arbetar i sina egna kodbaser. Förvånande nog visade det sig att utvecklarna tog 19 % längre tid när de använde AI-verktyg – AI gjorde dem alltså långsammare.
Studien följde 16 rutinerade open source-utvecklare när de slutförde 246 verkliga kodningsuppgifter i mogna kodbaser med i snitt över en miljon rader kod och mer än 22 000 GitHub-stjärnor. Uppgifterna tilldelades slumpmässigt för att antingen tillåta eller förbjuda användning av AI-verktyg, där utvecklarna främst använde Cursor Pro med Claude 3.5 och 3.7 Sonnet under studieperioden februari–juni 2025.
Resultaten förvånade alla, även deltagarna själva. Efter att ha slutfört sina uppgifter uppskattade utvecklarna att AI hade ökat deras produktivitet med 20 %, trots att data tydligt visade en minskning på 19 %. Detta belyser en viktig insikt: när människor rapporterar att AI har gjort deras arbete snabbare kan de ha helt fel om den faktiska effekten.
METR-forskarna identifierade flera möjliga orsaker till fördröjningen. Utvecklarna lade betydligt mer tid på att formulera promptar till AI:n och vänta på svar, istället för att faktiskt koda. Studien väcker viktiga frågor om de påstådda universella produktivitetsvinsterna som AI-verktyg för kodning utlovar under 2025.
Det betyder dock inte att AI-verktyg är generellt ineffektiva. METR påpekar att i okända kodbaser, tidiga projekt eller för mindre erfarna programmerare kan AI fortfarande påskynda arbetet. Forskarna planerar framtida studier för att undersöka dessa fall. De betonar också att detta var en ögonblicksbild av verktyg i början av 2025, och att snabbare modeller, bättre integration eller förbättrade prompttekniker kan förändra bilden.
För team som implementerar AI-assistenter är budskapet tydligt: AI-verktyg för kodning utvecklas ständigt, men i nuvarande form garanterar de inte ökad hastighet – särskilt inte för erfarna utvecklare som arbetar med kod de redan behärskar. Organisationer bör testa innan de litar på verktygen, mäta effekten i sin egen miljö och inte enbart förlita sig på upplevd snabbhet.