Un estudio innovador ha puesto en duda la narrativa predominante de que los asistentes de codificación con IA aumentan la productividad de los desarrolladores en todos los casos.
Model Evaluation and Threat Research (METR) realizó un ensayo controlado aleatorio para medir cómo las herramientas de IA de principios de 2025 afectan la productividad de desarrolladores experimentados de código abierto trabajando en sus propios repositorios. Sorprendentemente, descubrieron que cuando los desarrolladores usaban herramientas de IA, tardaban un 19% más que sin ellas; en realidad, la IA los hacía más lentos.
La investigación siguió a 16 desarrolladores veteranos de código abierto mientras completaban 246 tareas reales de programación en repositorios consolidados, con un promedio de más de un millón de líneas de código y más de 22,000 estrellas en GitHub. Las tareas se asignaron aleatoriamente para permitir o prohibir el uso de herramientas de IA, y los desarrolladores usaron principalmente Cursor Pro con Claude 3.5 y 3.7 Sonnet durante el periodo de estudio de febrero a junio de 2025.
Los resultados sorprendieron a todos, incluidos los propios participantes del estudio. Incluso después de completar sus tareas, los desarrolladores estimaron que la IA había incrementado su productividad en un 20%, cuando los datos mostraron claramente una disminución del 19%. Esto resalta un hallazgo crítico: cuando las personas reportan que la IA ha acelerado su trabajo, podrían estar completamente equivocadas sobre el impacto real.
Los investigadores de METR identificaron varias razones potenciales para la desaceleración. Los desarrolladores pasaron mucho más tiempo generando prompts para la IA y esperando respuestas, en lugar de programar directamente. El estudio plantea preguntas importantes sobre las supuestas ganancias universales de productividad prometidas por las herramientas de codificación con IA en 2025.
Sin embargo, esto no significa que las herramientas de IA sean ineficaces en general. METR señala que en bases de código desconocidas, proyectos en etapas tempranas o para programadores con menos experiencia, la IA podría acelerar el progreso. Los investigadores planean futuros estudios para explorar estos casos. También enfatizan que esto fue solo una instantánea de las herramientas disponibles a principios de 2025, y que modelos más rápidos, mejor integración o prácticas de prompting mejoradas podrían cambiar la ecuación.
Para los equipos que implementan asistentes de IA, el mensaje es claro: las herramientas de codificación con IA continúan evolucionando, pero en su forma actual no garantizan aumentos de velocidad, especialmente para ingenieros experimentados que trabajan en código que ya conocen. Las organizaciones deben probar antes de confiar, medir el impacto en su propio entorno y no depender únicamente de la velocidad percibida.