Isang makabagong pag-aaral ang sumalungat sa malaganap na paniniwala na ang AI coding assistants ay nagpapataas ng produktibidad ng mga developer sa lahat ng pagkakataon.
Isinagawa ng Model Evaluation and Threat Research (METR) ang isang randomized controlled trial upang sukatin kung paano naaapektuhan ng mga AI tools noong unang bahagi ng 2025 ang produktibidad ng mga bihasang open-source developer na nagtatrabaho sa sarili nilang repositories. Nakakagulat, natuklasan nilang kapag gumamit ng AI tools ang mga developer, tumagal sila ng 19% nang mas matagal kumpara sa walang AI—ibig sabihin, pinabagal pa sila ng AI.
Sinubaybayan ng pananaliksik ang 16 beteranong open-source developer habang tinatapos nila ang 246 totoong coding tasks sa mga mature repositories na may average na higit isang milyong linya ng code at 22,000+ GitHub stars. Ang mga tasks ay random na inatasan kung papayagan o hindi ang paggamit ng AI tools, at pangunahing ginamit ng mga developer ang Cursor Pro na may Claude 3.5 at 3.7 Sonnet sa panahon ng pag-aaral mula Pebrero hanggang Hunyo 2025.
Nagulat ang lahat sa resulta, kabilang na ang mga lumahok sa pag-aaral. Kahit matapos ang kanilang mga tasks, tinaya ng mga developer na pinabilis sila ng AI ng 20%, kahit malinaw sa datos na bumagal sila ng 19%. Ipinapakita nito ang isang mahalagang aral: kapag iniulat ng mga tao na pinabilis sila ng AI, maaaring lubos silang nagkakamali tungkol sa tunay na epekto nito.
Natukoy ng mga mananaliksik ng METR ang ilang posibleng dahilan ng pagbagal. Mas marami raw oras ang ginugol ng mga developer sa pag-prompt sa AI at paghihintay ng sagot kaysa sa aktwal na pag-coding. Nagbubukas ito ng mahahalagang tanong tungkol sa sinasabing unibersal na pagtaas ng produktibidad na ipinapangako ng mga AI coding tool sa 2025.
Gayunpaman, hindi ibig sabihin nito na hindi epektibo ang AI tools sa pangkalahatan. Binanggit ng METR na sa mga hindi pamilyar na codebase, mga proyektong nasa maagang yugto, o para sa mga baguhang programmer, maaaring mapabilis pa rin ng AI ang progreso. Plano ng mga mananaliksik na magsagawa ng mga susunod na pag-aaral para tuklasin ang mga kasong ito. Binibigyang-diin din nila na ito ay larawan lamang ng mga AI tool noong unang bahagi ng 2025, at maaaring magbago ang resulta kapag mas mabilis na modelo, mas mahusay na integrasyon, o pinahusay na prompting ang ginamit.
Para sa mga team na gumagamit ng AI assistants, malinaw ang mensahe: Patuloy na umuunlad ang mga AI coding tool, ngunit sa kasalukuyang anyo, hindi sila garantiya ng bilis—lalo na para sa mga batikang engineer na pamilyar na sa kanilang code. Dapat subukan muna ng mga organisasyon bago magtiwala, sukatin ang epekto sa aktwal nilang kapaligiran, at huwag umasa lamang sa inaakalang bilis.