Eine bahnbrechende Studie stellt die gängige Annahme infrage, dass KI-Coding-Assistenten die Produktivität von Entwicklern grundsätzlich steigern.
Das Model Evaluation and Threat Research (METR) führte eine randomisierte, kontrollierte Studie durch, um zu messen, wie sich KI-Tools Anfang 2025 auf die Produktivität erfahrener Open-Source-Entwickler auswirken, die an ihren eigenen Repositories arbeiten. Überraschenderweise zeigte sich: Mit KI-Tools benötigten die Entwickler 19 % mehr Zeit als ohne – die KI machte sie tatsächlich langsamer.
Im Rahmen der Studie wurden 16 erfahrene Open-Source-Entwickler beobachtet, die 246 reale Programmieraufgaben in ausgereiften Repositories mit durchschnittlich über einer Million Codezeilen und mehr als 22.000 GitHub-Sternen bearbeiteten. Die Aufgaben wurden zufällig so zugewiesen, dass die Nutzung von KI-Tools entweder erlaubt oder untersagt war. Hauptsächlich kamen Cursor Pro mit Claude 3.5 und 3.7 Sonnet während des Untersuchungszeitraums von Februar bis Juni 2025 zum Einsatz.
Die Ergebnisse überraschten alle Beteiligten – auch die Studienteilnehmer selbst. Selbst nach Abschluss der Aufgaben schätzten die Entwickler, dass KI ihre Produktivität um 20 % gesteigert habe, obwohl die Daten eindeutig einen Rückgang um 19 % belegten. Das verdeutlicht eine zentrale Erkenntnis: Wenn Menschen berichten, dass KI ihre Arbeit beschleunigt hat, können sie mit ihrer Einschätzung völlig danebenliegen.
Die METR-Forschenden identifizierten mehrere mögliche Gründe für die Verlangsamung. Entwickler verbrachten deutlich mehr Zeit damit, die KI zu befragen und auf Antworten zu warten, anstatt tatsächlich zu programmieren. Die Studie wirft wichtige Fragen zu den vermeintlich universellen Produktivitätsgewinnen durch KI-Coding-Tools im Jahr 2025 auf.
Das bedeutet jedoch nicht, dass KI-Tools grundsätzlich wirkungslos sind. METR betont, dass KI bei unbekannten Codebasen, in frühen Projektphasen oder für weniger erfahrene Programmierer durchaus den Fortschritt beschleunigen könnte. Die Forschenden planen weitere Studien, um diese Fälle zu untersuchen. Sie heben zudem hervor, dass es sich um eine Momentaufnahme der Tools Anfang 2025 handelt – schnellere Modelle, bessere Integration oder optimierte Prompting-Praktiken könnten das Bild verändern.
Für Teams, die KI-Assistenten einsetzen, ist die Botschaft klar: KI-Coding-Tools entwickeln sich zwar weiter, garantieren aber in ihrer aktuellen Form keine Geschwindigkeitsvorteile – insbesondere nicht für erfahrene Entwickler, die an vertrautem Code arbeiten. Organisationen sollten vor dem Vertrauen eigene Tests durchführen, die Auswirkungen im realen Umfeld messen und sich nicht allein auf die wahrgenommene Geschwindigkeit verlassen.