Merkittävä tutkimus haastaa vallitsevan käsityksen siitä, että tekoälyavustajat parantavat ohjelmoijien tuottavuutta kautta linjan.
Model Evaluation and Threat Research (METR) toteutti satunnaistetun kontrolloidun kokeen selvittääkseen, miten vuoden 2025 alun tekoälytyökalut vaikuttavat kokeneiden avoimen lähdekoodin kehittäjien tuottavuuteen heidän omissa projekteissaan. Yllättäen kävi ilmi, että tekoälytyökaluja käyttäneet kehittäjät käyttivät 19 % enemmän aikaa tehtäviin kuin ilman apuvälineitä – tekoäly siis hidasti työskentelyä.
Tutkimuksessa seurattiin 16 kokenutta kehittäjää, jotka ratkoivat 246 todellista koodaustehtävää kypsissä projekteissa, joiden koko oli keskimäärin yli miljoona riviä koodia ja 22 000+ GitHub-tähteä. Tehtävät jaettiin satunnaisesti joko tekoälytyökalujen salliviin tai kieltäneisiin ryhmiin. Kehittäjät käyttivät pääasiassa Cursor Prota sekä Claude 3.5 ja 3.7 Sonnet -malleja tutkimuksen aikana helmikuusta kesäkuuhun 2025.
Tulokset yllättivät kaikki, myös osallistujat itse. Vaikka kehittäjät arvioivat tekoälyn lisänneen tuottavuuttaan 20 %, data osoitti todellisuudessa 19 % hidastumisen. Tämä paljastaa tärkeän havainnon: kun ihmiset raportoivat tekoälyn nopeuttaneen työtä, he saattavat olla täysin väärässä todellisesta vaikutuksesta.
METR:n tutkijat löysivät useita mahdollisia syitä hidastumiselle. Kehittäjät käyttivät huomattavasti enemmän aikaa tekoälyn ohjeistamiseen ja vastausten odotteluun kuin varsinaiseen koodaamiseen. Tutkimus herättääkin tärkeitä kysymyksiä vuoden 2025 tekoälytyökalujen lupaamien tuottavuushyötyjen universaaliudesta.
Tämä ei kuitenkaan tarkoita, että tekoälytyökalut olisivat laajasti hyödyttömiä. METR huomauttaa, että vieraissa koodipohjissa, varhaisvaiheen projekteissa tai vähemmän kokeneiden ohjelmoijien kohdalla tekoäly voi edelleen nopeuttaa kehitystä. Tutkijat suunnittelevatkin jatkotutkimuksia näistä tapauksista. He korostavat myös, että kyseessä oli vuoden 2025 alun työkalujen tilanne – nopeammat mallit, parempi integraatio tai kehittyneemmät ohjeistuskäytännöt voivat muuttaa asetelmaa jatkossa.
Tekoälyavustajia harkitseville tiimeille viesti on selvä: tekoälytyökalut kehittyvät jatkuvasti, mutta nykyisellään ne eivät takaa nopeushyötyjä – varsinkaan kokeneille kehittäjille tutussa koodissa. Organisaatioiden kannattaa testata työkalut omassa ympäristössään, mitata todellinen vaikutus ja olla luottamatta pelkkään kokemukseen nopeudesta.