Un studiu revoluționar contrazice narațiunea dominantă conform căreia asistenții AI pentru programare cresc productivitatea dezvoltatorilor în orice situație.
Model Evaluation and Threat Research (METR) a realizat un studiu controlat randomizat pentru a măsura modul în care instrumentele AI de la începutul anului 2025 influențează productivitatea dezvoltatorilor open-source experimentați care lucrează pe propriile lor depozite. Surprinzător, s-a constatat că atunci când dezvoltatorii foloseau instrumente AI, aveau nevoie de cu 19% mai mult timp decât fără – AI i-a încetinit, de fapt.
Cercetarea a urmărit 16 dezvoltatori open-source cu experiență în timp ce finalizau 246 de sarcini reale pe depozite mature, cu o medie de peste un milion de linii de cod și peste 22.000 de stele pe GitHub. Sarcinile au fost atribuite aleatoriu pentru a permite sau interzice utilizarea instrumentelor AI, dezvoltatorii folosind în principal Cursor Pro cu Claude 3.5 și 3.7 Sonnet în perioada februarie-iunie 2025.
Rezultatele i-au surprins pe toți, inclusiv pe participanții la studiu. Chiar și după ce și-au finalizat sarcinile, dezvoltatorii au estimat că AI le-a crescut productivitatea cu 20%, deși datele arătau clar o scădere de 19%. Acest lucru evidențiază un aspect critic: atunci când oamenii raportează că AI le-a accelerat munca, s-ar putea să fie complet greșiți în privința impactului real.
Cercetătorii METR au identificat mai multe motive posibile pentru încetinire. Programatorii au petrecut mult mai mult timp formulând prompturi pentru AI și așteptând răspunsuri, în loc să scrie efectiv cod. Studiul ridică întrebări importante despre presupusele câștiguri universale de productivitate promise de instrumentele AI pentru programare în 2025.
Totuși, acest lucru nu înseamnă că instrumentele AI sunt ineficiente în general. METR menționează că, în cazul bazelor de cod necunoscute, al proiectelor aflate la început sau pentru programatorii mai puțin experimentați, AI ar putea accelera totuși progresul. Cercetătorii plănuiesc studii viitoare pentru a explora aceste cazuri. Ei subliniază, de asemenea, că acesta a fost un instantaneu al instrumentelor de la începutul anului 2025, iar modele mai rapide, o integrare mai bună sau practici îmbunătățite de prompting ar putea schimba situația.
Pentru echipele care implementează asistenți AI, mesajul este clar: instrumentele AI pentru programare continuă să evolueze, dar în forma lor actuală nu garantează câștiguri de viteză – mai ales pentru inginerii experimentați care lucrează pe cod pe care îl cunosc deja. Organizațiile ar trebui să testeze înainte să aibă încredere, să măsoare impactul în mediul propriu și să nu se bazeze doar pe viteza percepută.