Průlomová studie zpochybnila rozšířenou představu, že AI asistenti zvyšují produktivitu programátorů napříč celým oborem.
Organizace Model Evaluation and Threat Research (METR) provedla randomizovanou kontrolovanou studii, která měřila, jak nástroje umělé inteligence z počátku roku 2025 ovlivňují produktivitu zkušených open-source vývojářů pracujících na vlastních repozitářích. Překvapivě zjistili, že když vývojáři používali AI nástroje, trvalo jim splnění úkolů o 19 % déle než bez nich—AI je ve skutečnosti zpomalila.
Výzkum sledoval 16 zkušených open-source vývojářů, kteří plnili 246 reálných programátorských úloh na vyspělých repozitářích s průměrně více než milionem řádků kódu a více než 22 000 hvězdami na GitHubu. Úkoly byly náhodně přiřazeny buď s povolením, nebo zákazem použití AI nástrojů. Během období únor–červen 2025 vývojáři primárně používali Cursor Pro s Claude 3.5 a 3.7 Sonnet.
Výsledky překvapily všechny, včetně samotných účastníků studie. I po dokončení úkolů vývojáři odhadovali, že jim AI zvýšila produktivitu o 20 %, přestože data jasně ukázala 19% pokles. To poukazuje na zásadní poznatek: když lidé tvrdí, že jim AI urychlila práci, mohou se zcela mýlit ohledně skutečného dopadu.
Výzkumníci z METR identifikovali několik možných příčin zpomalení. Vývojáři trávili mnohem více času zadáváním promptů AI a čekáním na odpovědi místo samotného programování. Studie tak zpochybňuje předpokládané univerzální zvyšování produktivity, které AI programátorské nástroje v roce 2025 slibují.
To však neznamená, že jsou AI nástroje obecně neúčinné. METR upozorňuje, že v neznámých kódech, u nových projektů nebo pro méně zkušené programátory může AI skutečně urychlit postup. Výzkumníci plánují další studie, které tyto případy prozkoumají. Zdůrazňují také, že šlo o snímek stavu nástrojů z počátku roku 2025—a že rychlejší modely, lepší integrace či pokročilejší práce s prompty mohou situaci změnit.
Pro týmy, které nasazují AI asistenty, je poselství jasné: AI programátorské nástroje se stále vyvíjejí, ale v současné podobě nezaručují zrychlení práce—zejména u zkušených inženýrů pracujících na dobře známém kódu. Organizace by měly před důvěrou nejprve testovat, měřit dopad ve svém reálném prostředí a nespoléhat pouze na subjektivní pocit rychlosti.