Een baanbrekende studie zet vraagtekens bij het heersende idee dat AI-programmeerassistenten de productiviteit van ontwikkelaars altijd verhogen.
Model Evaluation and Threat Research (METR) voerde een gerandomiseerde gecontroleerde proef uit om te meten hoe AI-tools van begin 2025 de productiviteit beïnvloeden van ervaren open-source ontwikkelaars die werken aan hun eigen repositories. Verrassend genoeg bleek dat ontwikkelaars met AI-tools 19% langer deden over hun taken dan zonder—AI maakte hen dus juist trager.
Het onderzoek volgde 16 doorgewinterde open-source ontwikkelaars terwijl zij 246 realistische programmeertaken uitvoerden op volwassen repositories met gemiddeld meer dan één miljoen regels code en meer dan 22.000 GitHub-sterren. Taken werden willekeurig toegewezen aan een groep die AI mocht gebruiken of juist niet, waarbij de ontwikkelaars vooral Cursor Pro met Claude 3.5 en 3.7 Sonnet gebruikten gedurende de onderzoeksperiode van februari tot juni 2025.
De resultaten waren voor iedereen verrassend, ook voor de deelnemers zelf. Zelfs nadat ze hun taken hadden afgerond, schatten de ontwikkelaars dat AI hun productiviteit met 20% had verhoogd, terwijl de data juist een daling van 19% liet zien. Dit onderstreept een belangrijk inzicht: wanneer mensen aangeven dat AI hun werk versnelt, kunnen ze het volledig mis hebben over het daadwerkelijke effect.
De METR-onderzoekers identificeerden verschillende mogelijke oorzaken voor de vertraging. Ontwikkelaars besteedden veel meer tijd aan het geven van prompts aan de AI en het wachten op antwoorden, in plaats van daadwerkelijk te programmeren. De studie roept daarmee belangrijke vragen op over de veronderstelde universele productiviteitswinst die AI-programmeertools in 2025 beloven.
Toch betekent dit niet dat AI-tools in het algemeen ineffectief zijn. METR merkt op dat AI in onbekende codebases, vroege projectfasen of voor minder ervaren programmeurs mogelijk wel voor versnelling kan zorgen. De onderzoekers plannen vervolgstudies om deze situaties te onderzoeken. Ze benadrukken ook dat dit een momentopname is van de tooling begin 2025; snellere modellen, betere integratie of verbeterde prompttechnieken kunnen de uitkomst veranderen.
Voor teams die AI-assistenten inzetten is de boodschap duidelijk: AI-programmeertools blijven zich ontwikkelen, maar in hun huidige vorm garanderen ze geen snelheidswinst—zeker niet voor ervaren engineers die werken aan code die ze al goed kennen. Organisaties doen er verstandig aan om eerst te testen, het effect in hun eigen omgeving te meten en niet alleen op het gevoel van snelheid af te gaan.