Uno studio rivoluzionario mette in discussione la narrazione dominante secondo cui gli assistenti di programmazione basati su IA aumenterebbero la produttività degli sviluppatori senza eccezioni.
Model Evaluation and Threat Research (METR) ha condotto un trial controllato randomizzato per misurare come gli strumenti di IA di inizio 2025 influenzino la produttività di sviluppatori open-source esperti che lavorano sui propri repository. Sorprendentemente, è emerso che con l’uso degli strumenti di IA gli sviluppatori impiegavano il 19% di tempo in più rispetto a quando non li utilizzavano—l’IA li rendeva in realtà più lenti.
La ricerca ha monitorato 16 sviluppatori open-source di lunga esperienza mentre completavano 246 task di programmazione reali su repository maturi con una media di oltre un milione di righe di codice e più di 22.000 stelle su GitHub. I compiti venivano assegnati casualmente con o senza la possibilità di usare strumenti di IA, con i partecipanti che utilizzavano principalmente Cursor Pro con Claude 3.5 e 3.7 Sonnet durante il periodo di studio da febbraio a giugno 2025.
I risultati hanno sorpreso tutti, compresi gli stessi partecipanti allo studio. Anche dopo aver completato i task, gli sviluppatori stimavano che l’IA avesse aumentato la loro produttività del 20%, mentre i dati mostravano chiaramente una diminuzione del 19%. Questo mette in luce un aspetto cruciale: quando le persone dichiarano che l’IA ha accelerato il loro lavoro, potrebbero essere completamente fuori strada rispetto all’impatto reale.
I ricercatori METR hanno individuato diverse possibili cause del rallentamento. Gli sviluppatori hanno trascorso molto più tempo a scrivere prompt per l’IA e ad attendere le risposte, invece di programmare attivamente. Lo studio solleva interrogativi importanti sui presunti guadagni universali di produttività promessi dagli strumenti di programmazione IA nel 2025.
Tuttavia, ciò non significa che gli strumenti di IA siano inefficaci in senso generale. METR sottolinea che su codebase sconosciute, progetti nelle fasi iniziali o per programmatori meno esperti, l’IA potrebbe effettivamente accelerare il lavoro. I ricercatori stanno pianificando studi futuri per esplorare questi casi. Sottolineano inoltre che si tratta di uno scenario riferito agli strumenti di inizio 2025: modelli più veloci, integrazioni migliori o pratiche di prompting più efficaci potrebbero cambiare il quadro.
Per i team che adottano assistenti IA, il messaggio è chiaro: gli strumenti di programmazione IA continuano ad evolversi, ma nella loro forma attuale non garantiscono necessariamente un aumento della velocità—soprattutto per ingegneri esperti che lavorano su codice già noto. Le organizzazioni dovrebbero testare prima di fidarsi, misurare l’impatto nel proprio contesto e non basarsi solo sulla percezione di maggiore rapidità.