Przełomowe badanie podważa powszechną narrację o tym, że asystenci AI zwiększają produktywność programistów w każdej sytuacji.
Model Evaluation and Threat Research (METR) przeprowadził randomizowane badanie kontrolne, by zmierzyć, jak narzędzia AI z początku 2025 roku wpływają na produktywność doświadczonych deweloperów open source pracujących nad własnymi repozytoriami. Ku zaskoczeniu, okazało się, że korzystając z narzędzi AI, programiści wykonywali zadania o 19% wolniej niż bez nich — AI faktycznie ich spowalniało.
Badanie objęło 16 doświadczonych deweloperów open source, którzy realizowali 246 rzeczywistych zadań programistycznych na dojrzałych repozytoriach o średniej wielkości ponad miliona linii kodu i ponad 22 000 gwiazdek na GitHubie. Zadania były losowo przydzielane do grupy z dozwolonym lub zakazanym użyciem narzędzi AI, a programiści korzystali głównie z Cursor Pro z Claude 3.5 i 3.7 Sonnet w okresie od lutego do czerwca 2025 roku.
Wyniki zaskoczyły wszystkich, włącznie z samymi uczestnikami badania. Nawet po zakończeniu zadań programiści szacowali, że AI zwiększyło ich produktywność o 20%, podczas gdy dane jasno pokazały spadek o 19%. To podkreśla ważny wniosek: gdy ludzie deklarują, że AI przyspieszyło ich pracę, mogą być całkowicie w błędzie co do rzeczywistego wpływu.
Badacze METR wskazali kilka potencjalnych przyczyn spowolnienia. Programiści spędzali znacznie więcej czasu na formułowaniu promptów do AI i oczekiwaniu na odpowiedzi, zamiast faktycznie pisać kod. Badanie stawia istotne pytania o rzekome uniwersalne zyski produktywności obiecywane przez narzędzia AI w 2025 roku.
Nie oznacza to jednak, że narzędzia AI są ogólnie nieskuteczne. METR zauważa, że w przypadku nieznanych baz kodu, projektów na wczesnym etapie lub mniej doświadczonych programistów, AI może faktycznie przyspieszać pracę. Naukowcy planują kolejne badania, by zbadać te przypadki. Podkreślają też, że to był wycinek stanu narzędzi na początku 2025 roku, a szybsze modele, lepsza integracja czy udoskonalone praktyki promptowania mogą zmienić sytuację.
Dla zespołów wdrażających asystentów AI przekaz jest jasny: narzędzia AI do programowania stale się rozwijają, ale w obecnej formie nie gwarantują przyspieszenia pracy — zwłaszcza doświadczonym inżynierom pracującym nad znanym sobie kodem. Organizacje powinny testować narzędzia przed zaufaniem, mierzyć ich wpływ w rzeczywistym środowisku i nie polegać wyłącznie na subiektywnym poczuciu szybkości.