Une étude révolutionnaire remet en question le discours dominant selon lequel les assistants de programmation basés sur l’IA augmentent la productivité des développeurs de façon généralisée.
Model Evaluation and Threat Research (METR) a mené un essai contrôlé randomisé pour mesurer l’impact des outils d’IA du début de 2025 sur la productivité de développeurs open source expérimentés travaillant sur leurs propres dépôts. De façon surprenante, ils ont constaté que les développeurs utilisant ces outils prenaient 19 % plus de temps que sans l’IA—l’IA les ralentissait en réalité.
La recherche a suivi 16 développeurs open source chevronnés alors qu’ils complétaient 246 tâches de programmation réelles sur des dépôts matures comptant en moyenne plus d’un million de lignes de code et plus de 22 000 étoiles sur GitHub. Les tâches étaient assignées aléatoirement pour permettre ou interdire l’utilisation d’outils d’IA, les développeurs utilisant principalement Cursor Pro avec Claude 3.5 et 3.7 Sonnet durant la période d’étude de février à juin 2025.
Les résultats ont surpris tout le monde, y compris les participants eux-mêmes. Même après avoir terminé leurs tâches, les développeurs estimaient que l’IA avait augmenté leur productivité de 20 %, alors que les données montraient clairement une diminution de 19 %. Cela met en lumière un point crucial : lorsque les gens affirment que l’IA a accéléré leur travail, ils peuvent se tromper complètement sur l’impact réel.
Les chercheurs de METR ont identifié plusieurs raisons potentielles à ce ralentissement. Les développeurs passaient beaucoup plus de temps à rédiger des requêtes pour l’IA et à attendre des réponses, plutôt qu’à coder réellement. L’étude soulève d’importantes questions sur les gains de productivité supposément universels promis par les outils d’IA en 2025.
Cependant, cela ne signifie pas que les outils d’IA sont globalement inefficaces. METR note que dans des bases de code inconnues, des projets en phase initiale ou pour des programmeurs moins expérimentés, l’IA pourrait tout de même accélérer le progrès. Les chercheurs prévoient d’ailleurs d’autres études pour explorer ces cas. Ils soulignent aussi que cette étude portait sur les outils du début de 2025, et que des modèles plus rapides, une meilleure intégration ou de meilleures pratiques de requêtage pourraient changer la donne.
Pour les équipes qui déploient des assistants d’IA, le message est clair : les outils de programmation assistée par l’IA continuent d’évoluer, mais dans leur forme actuelle, ils ne garantissent pas de gains de vitesse—surtout pour les ingénieurs expérimentés travaillant sur du code qu’ils connaissent déjà. Les organisations devraient tester avant de faire confiance, mesurer l’impact dans leur propre environnement et ne pas se fier uniquement à la vitesse perçue.