Um estudo inovador desafiou a narrativa predominante de que assistentes de programação com IA aumentam a produtividade dos desenvolvedores de forma geral.
A Model Evaluation and Threat Research (METR) realizou um ensaio clínico randomizado para medir como as ferramentas de IA do início de 2025 afetam a produtividade de desenvolvedores experientes de código aberto trabalhando em seus próprios repositórios. Surpreendentemente, descobriram que, ao utilizar ferramentas de IA, os desenvolvedores demoraram 19% mais do que sem elas — ou seja, a IA na verdade os deixou mais lentos.
A pesquisa acompanhou 16 desenvolvedores experientes de código aberto enquanto concluíam 246 tarefas reais em repositórios maduros, com média de mais de um milhão de linhas de código e mais de 22.000 estrelas no GitHub. As tarefas foram atribuídas aleatoriamente para permitir ou proibir o uso de ferramentas de IA, com os desenvolvedores utilizando principalmente o Cursor Pro com Claude 3.5 e 3.7 Sonnet durante o período do estudo, de fevereiro a junho de 2025.
Os resultados surpreenderam a todos, inclusive os próprios participantes do estudo. Mesmo após concluírem as tarefas, os desenvolvedores estimaram que a IA havia aumentado sua produtividade em 20%, quando os dados mostraram claramente uma queda de 19%. Isso evidencia um ponto crítico: quando as pessoas relatam que a IA acelerou seu trabalho, podem estar completamente equivocadas quanto ao impacto real.
Os pesquisadores da METR identificaram várias razões potenciais para a desaceleração. Os desenvolvedores passaram muito mais tempo elaborando prompts para a IA e aguardando respostas do que realmente programando. O estudo levanta questões importantes sobre os supostos ganhos universais de produtividade prometidos pelas ferramentas de programação com IA em 2025.
No entanto, isso não significa que as ferramentas de IA sejam ineficazes em geral. A METR observa que, em bases de código desconhecidas, projetos em estágio inicial ou para programadores menos experientes, a IA ainda pode acelerar o progresso. Os pesquisadores planejam estudos futuros para explorar esses casos. Eles também ressaltam que este foi um retrato das ferramentas do início de 2025, e que modelos mais rápidos, melhor integração ou práticas aprimoradas de prompting podem mudar esse cenário.
Para equipes que adotam assistentes de IA, a mensagem é clara: as ferramentas de programação com IA continuam evoluindo, mas, em sua forma atual, não garantem ganhos de velocidade — especialmente para engenheiros experientes trabalhando em códigos que já conhecem. As organizações devem testar antes de confiar, medir o impacto em seu próprio ambiente e não se basear apenas na percepção de velocidade.