Une étude révolutionnaire remet en question le discours dominant selon lequel les assistants de codage IA augmenteraient systématiquement la productivité des développeurs.
Model Evaluation and Threat Research (METR) a mené un essai contrôlé randomisé pour mesurer l’impact des outils d’IA de début 2025 sur la productivité de développeurs open source expérimentés travaillant sur leurs propres dépôts. De façon surprenante, les chercheurs ont constaté que les développeurs utilisant l’IA mettaient 19% de temps en plus qu’en travaillant sans — l’IA les ralentissait donc réellement.
L’étude a suivi 16 développeurs open source aguerris réalisant 246 tâches de codage réelles sur des dépôts matures totalisant en moyenne plus d’un million de lignes de code et plus de 22 000 étoiles GitHub. Les tâches étaient attribuées aléatoirement avec ou sans autorisation d’utiliser des outils d’IA, les développeurs utilisant principalement Cursor Pro avec Claude 3.5 et 3.7 Sonnet durant la période de février à juin 2025.
Les résultats ont surpris tout le monde, y compris les participants eux-mêmes. Même après avoir terminé leurs tâches, les développeurs estimaient que l’IA avait augmenté leur productivité de 20%, alors que les données montraient clairement une baisse de 19%. Cela met en évidence un point crucial : lorsque les personnes affirment que l’IA accélère leur travail, elles peuvent se tromper totalement sur l’impact réel.
Les chercheurs de METR ont identifié plusieurs raisons potentielles à ce ralentissement. Les développeurs passaient beaucoup plus de temps à formuler des requêtes à l’IA et à attendre les réponses, plutôt qu’à coder effectivement. L’étude soulève ainsi des questions importantes sur les gains de productivité supposés universels promis par les outils de codage IA en 2025.
Cependant, cela ne signifie pas que les outils d’IA sont globalement inefficaces. METR souligne que sur des bases de code inconnues, des projets en phase initiale ou pour des programmeurs moins expérimentés, l’IA pourrait toujours accélérer le travail. Les chercheurs prévoient d’ailleurs d’étudier ces cas dans de futures recherches. Ils insistent aussi sur le fait qu’il s’agissait d’un instantané des outils de début 2025, et que des modèles plus rapides, une meilleure intégration ou des pratiques de requêtage optimisées pourraient changer la donne.
Pour les équipes qui déploient des assistants IA, le message est clair : les outils de codage IA continuent d’évoluer, mais à ce stade, ils ne garantissent pas de gains de vitesse — surtout pour des ingénieurs expérimentés travaillant sur un code qu’ils maîtrisent déjà. Les organisations doivent tester avant de faire confiance, mesurer l’impact dans leur propre environnement et ne pas se fier uniquement à la vitesse perçue.