Et banebrydende studie udfordrer nu den udbredte fortælling om, at AI-kodeassistenter øger udvikleres produktivitet på tværs af hele branchen.
Model Evaluation and Threat Research (METR) gennemførte et randomiseret kontrolleret forsøg for at måle, hvordan AI-værktøjer fra starten af 2025 påvirker produktiviteten hos erfarne open source-udviklere, der arbejder på deres egne kodebaser. Overraskende nok viste det sig, at udviklerne brugte 19% længere tid, når de anvendte AI-værktøjer – AI gjorde dem faktisk langsommere.
Undersøgelsen fulgte 16 rutinerede open source-udviklere, mens de løste 246 reelle kodningsopgaver på modne kodebaser med gennemsnitligt over en million linjer kode og mere end 22.000 GitHub-stjerner. Opgaverne blev tilfældigt tildelt enten med eller uden mulighed for at bruge AI-værktøjer, hvor udviklerne primært benyttede Cursor Pro med Claude 3.5 og 3.7 Sonnet i studieperioden fra februar til juni 2025.
Resultaterne overraskede alle – også deltagerne selv. Selv efter at have afsluttet opgaverne vurderede udviklerne, at AI havde øget deres produktivitet med 20%, selvom dataene tydeligt viste et fald på 19%. Det understreger en vigtig pointe: Når folk rapporterer, at AI har gjort deres arbejde hurtigere, kan de tage fuldstændig fejl af den reelle effekt.
METR-forskerne pegede på flere mulige årsager til nedgangen. Udviklerne brugte langt mere tid på at formulere prompts til AI og vente på svar, end de gjorde på at kode. Studiet rejser vigtige spørgsmål om de påståede universelle produktivitetsgevinster, som AI-kodeværktøjer lover i 2025.
Det betyder dog ikke, at AI-værktøjer generelt er ineffektive. METR bemærker, at i ukendte kodebaser, tidlige projektfaser eller for mindre erfarne programmører kan AI stadig give et produktivitetsløft. Forskerne planlægger fremtidige studier for at undersøge disse tilfælde. De understreger også, at dette kun var et øjebliksbillede af værktøjer fra starten af 2025, og at hurtigere modeller, bedre integration eller forbedrede prompt-teknikker kan ændre billedet.
For teams, der implementerer AI-assistenter, er budskabet klart: AI-kodeværktøjer udvikler sig fortsat, men i deres nuværende form garanterer de ikke øget hastighed – især ikke for erfarne udviklere, der arbejder på kode, de allerede kender. Organisationer bør teste før de stoler på værktøjerne, måle effekten i deres eget miljø og ikke kun stole på den oplevede hastighed.