Un estudio pionero ha puesto en entredicho la narrativa dominante sobre los asistentes de programación con IA y su capacidad para aumentar la productividad de los desarrolladores en todos los casos.
Model Evaluation and Threat Research (METR) llevó a cabo un ensayo controlado aleatorio para medir cómo afectan las herramientas de IA de principios de 2025 a la productividad de desarrolladores experimentados de código abierto trabajando en sus propios repositorios. Sorprendentemente, descubrieron que cuando los desarrolladores utilizaban herramientas de IA, tardaban un 19% más que sin ellas: la IA en realidad les hacía más lentos.
La investigación siguió a 16 desarrolladores veteranos de código abierto mientras completaban 246 tareas reales de programación en repositorios maduros con una media de más de un millón de líneas de código y más de 22.000 estrellas en GitHub. Las tareas se asignaron aleatoriamente para permitir o prohibir el uso de herramientas de IA, y los desarrolladores utilizaron principalmente Cursor Pro con Claude 3.5 y 3.7 Sonnet durante el periodo de estudio de febrero a junio de 2025.
Los resultados sorprendieron a todos, incluidos los propios participantes del estudio. Incluso después de completar sus tareas, los desarrolladores estimaron que la IA había incrementado su productividad en un 20%, cuando los datos mostraban claramente una disminución del 19%. Esto pone de relieve una idea clave: cuando la gente afirma que la IA ha acelerado su trabajo, puede estar completamente equivocada respecto al impacto real.
Los investigadores de METR identificaron varias posibles razones para esta ralentización. Los desarrolladores pasaron mucho más tiempo generando indicaciones para la IA y esperando respuestas, en lugar de programar realmente. El estudio plantea preguntas importantes sobre las supuestas ganancias universales de productividad que prometen las herramientas de programación con IA en 2025.
Sin embargo, esto no significa que las herramientas de IA sean ineficaces en general. METR señala que, en bases de código desconocidas, proyectos en fases iniciales o para programadores menos experimentados, la IA podría acelerar el progreso. Los investigadores planean futuros estudios para explorar estos casos. También subrayan que esto es solo una instantánea de las herramientas de principios de 2025, y que modelos más rápidos, mejor integración o mejores prácticas de interacción podrían cambiar el panorama.
Para los equipos que despliegan asistentes de IA, el mensaje es claro: las herramientas de programación con IA siguen evolucionando, pero en su forma actual no garantizan mejoras de velocidad, especialmente para ingenieros experimentados trabajando en código que ya conocen. Las organizaciones deberían probar antes de confiar, medir el impacto en su propio entorno y no basarse únicamente en la percepción de velocidad.