Obwohl KI bemerkenswerte Fortschritte bei der Generierung von Code-Snippets gemacht hat, zeigt eine neue MIT-Studie erhebliche Hürden auf dem Weg zu einer wirklich autonomen Softwareentwicklung.
Die Forschung mit dem Titel „Challenges and Paths Towards AI for Software Engineering“ wurde von einem Team unter der Leitung von MIT-Professor Armando Solar-Lezama und Erstautor Alex Gu durchgeführt. Die am 16. Juli 2025 veröffentlichte Studie wird auf der International Conference on Machine Learning (ICML 2025) in Vancouver vorgestellt.
„Alle reden davon, dass wir keine Programmierer mehr brauchen und es jetzt all diese Automatisierung gibt“, sagt Solar-Lezama. „Einerseits hat das Feld enorme Fortschritte gemacht. Wir verfügen über Werkzeuge, die weitaus leistungsfähiger sind als alles, was wir zuvor gesehen haben. Aber es ist auch noch ein weiter Weg, bis wir das volle Versprechen der Automatisierung wirklich einlösen können.“
Die Forscher argumentieren, dass aktuelle KI-Systeme zwar hervorragend darin sind, kleine Codefunktionen zu generieren, aber bei umfassenderen Software-Engineering-Aufgaben wie großflächigem Refactoring, Code-Migration und dem Debugging komplexer Systeme an ihre Grenzen stoßen. Beliebte Benchmarks wie SWE-Bench testen lediglich Patches für GitHub-Issues, die einige hundert Codezeilen betreffen, und erfassen damit nicht die realen Szenarien, in denen Millionen von Zeilen optimiert oder von Altsystemen migriert werden müssen.
Auch die Kommunikation zwischen Mensch und Maschine stellt eine große Herausforderung dar. Gu beschreibt die heutige Interaktion als „eine dünne Kommunikationslinie“, bei der KI-Tools oft große, unstrukturierte Dateien mit oberflächlichen Tests erzeugen und nicht in der Lage sind, Debugging-Tools und statische Analysatoren effektiv zu nutzen, auf die menschliche Entwickler angewiesen sind.
Anstelle einer einzelnen Lösung fordern die Forscher gemeinschaftliche Anstrengungen: Entwicklung umfangreicherer Datensätze, die abbilden, wie Entwickler im Laufe der Zeit Code schreiben und refaktorieren; Schaffung gemeinsamer Evaluationssuiten, die die Qualität von Refactorings und die Langlebigkeit von Bugfixes messen; sowie Aufbau transparenter Werkzeuge, die Unsicherheiten der Modelle offenlegen und menschliche Anleitung ermöglichen.
„Software bildet bereits das Rückgrat von Finanzen, Transport, Gesundheitswesen und zahllosen weiteren kritischen Systemen“, betont Solar-Lezama. Das Forschungsteam stellt sich eine Zukunft vor, in der KI routinemäßige Entwicklungsaufgaben übernimmt und menschliche Ingenieure sich auf hochrangige Designentscheidungen und komplexe Abwägungen konzentrieren können, die menschliches Urteilsvermögen erfordern.