Um estudo inovador veio desafiar a narrativa dominante de que os assistentes de programação baseados em IA aumentam a produtividade dos programadores em todos os contextos.
A Model Evaluation and Threat Research (METR) realizou um ensaio clínico randomizado para medir o impacto das ferramentas de IA do início de 2025 na produtividade de programadores experientes de open source a trabalhar nos seus próprios repositórios. Surpreendentemente, verificou-se que, quando os programadores utilizavam ferramentas de IA, demoravam mais 19% do que sem elas — a IA tornava-os, de facto, mais lentos.
A investigação acompanhou 16 programadores experientes de open source enquanto completavam 246 tarefas reais em repositórios maduros, com uma média superior a um milhão de linhas de código e mais de 22.000 estrelas no GitHub. As tarefas eram atribuídas aleatoriamente para permitir ou proibir o uso de ferramentas de IA, sendo que os programadores utilizaram principalmente o Cursor Pro com Claude 3.5 e 3.7 Sonnet durante o período do estudo, de fevereiro a junho de 2025.
Os resultados surpreenderam todos, incluindo os próprios participantes do estudo. Mesmo após concluírem as tarefas, os programadores estimaram que a IA tinha aumentado a sua produtividade em 20%, quando os dados mostravam claramente uma diminuição de 19%. Isto evidencia um ponto crítico: quando as pessoas afirmam que a IA acelerou o seu trabalho, podem estar completamente enganadas quanto ao impacto real.
Os investigadores da METR identificaram várias razões potenciais para esta desaceleração. Os programadores passaram muito mais tempo a escrever prompts para a IA e à espera de respostas, em vez de estarem efetivamente a programar. O estudo levanta questões importantes sobre os alegados ganhos universais de produtividade prometidos pelas ferramentas de programação com IA em 2025.
No entanto, isto não significa que as ferramentas de IA sejam globalmente ineficazes. A METR salienta que, em bases de código desconhecidas, projetos em fase inicial ou para programadores menos experientes, a IA pode, de facto, acelerar o progresso. Os investigadores planeiam estudos futuros para explorar esses casos. Realçam ainda que este estudo reflete apenas o panorama das ferramentas do início de 2025, e que modelos mais rápidos, melhor integração ou práticas de prompting aprimoradas poderão alterar o cenário.
Para as equipas que implementam assistentes de IA, a mensagem é clara: as ferramentas de programação com IA continuam a evoluir, mas, na sua forma atual, não garantem ganhos de velocidade — especialmente para engenheiros experientes a trabalhar em código que já dominam. As organizações devem testar antes de confiar, medir o impacto no seu ambiente real e não se basear apenas na perceção de velocidade.