Selvom AI har gjort bemærkelsesværdige fremskridt med at generere kodeudsnit, afslører et nyt MIT-studie betydelige barrierer for at opnå ægte autonom softwareudvikling.
Forskningen, med titlen "Challenges and Paths Towards AI for Software Engineering", er udført af et hold ledet af MIT-professor Armando Solar-Lezama og førsteforfatter Alex Gu. Studiet, der blev offentliggjort den 16. juli 2025, vil blive præsenteret på International Conference on Machine Learning (ICML 2025) i Vancouver.
"Alle taler om, at vi ikke længere har brug for programmører, og at der nu findes al denne automatisering," siger Solar-Lezama. "På den ene side har feltet gjort enorme fremskridt. Vi har værktøjer, der er langt mere kraftfulde end noget, vi tidligere har set. Men der er også lang vej endnu, før vi virkelig kan indfri automatiseringens fulde potentiale."
Forskerne argumenterer for, at nuværende AI-systemer er dygtige til at generere små kodefunktioner, men har svært ved bredere softwareudviklingsopgaver som omfattende refaktorering, kodemigrering og fejlsøgning i komplekse systemer. Populære benchmarks som SWE-Bench tester kun rettelser til GitHub-problemer, der omfatter et par hundrede linjer kode, og formår ikke at afspejle virkelige scenarier, hvor millioner af linjer måske skal optimeres eller migreres fra ældre systemer.
Kommunikationen mellem menneske og maskine udgør en anden væsentlig udfordring. Gu beskriver nutidens interaktion som "en tynd kommunikationslinje", hvor AI-værktøjer ofte producerer store, ustrukturerede filer med overfladiske tests og mangler evnen til effektivt at anvende de fejlsøgningsværktøjer og statiske analysatorer, som menneskelige udviklere er afhængige af.
I stedet for at foreslå én enkelt løsning opfordrer forskerne til fælles indsatser: udvikling af mere omfattende datasæt, der indfanger, hvordan udviklere skriver og refaktorerer kode over tid; skabelse af fælles evalueringssuiter, der måler kvaliteten af refaktoreringer og holdbarheden af fejlrettelser; samt udvikling af gennemsigtige værktøjer, der synliggør modellernes usikkerhed og inviterer til menneskelig vejledning.
"Software udgør allerede fundamentet for finans, transport, sundhedsvæsen og utallige andre kritiske systemer," bemærker Solar-Lezama. Forskerholdet forestiller sig en fremtid, hvor AI håndterer rutineprægede udviklingsopgaver, så menneskelige ingeniører kan fokusere på overordnede designbeslutninger og komplekse afvejninger, der kræver menneskelig dømmekraft.