Meskipun AI telah menunjukkan kemajuan luar biasa dalam menghasilkan potongan kode, sebuah studi baru dari MIT mengungkapkan adanya hambatan signifikan dalam mencapai rekayasa perangkat lunak yang benar-benar otonom.
Riset berjudul "Challenges and Paths Towards AI for Software Engineering" ini dilakukan oleh tim yang dipimpin oleh Profesor MIT Armando Solar-Lezama dan penulis utama Alex Gu. Dipublikasikan pada 16 Juli 2025, studi ini akan dipresentasikan di International Conference on Machine Learning (ICML 2025) di Vancouver.
"Semua orang membicarakan bahwa kita tidak lagi membutuhkan programmer, dan sekarang tersedia begitu banyak otomatisasi," ujar Solar-Lezama. "Di satu sisi, bidang ini telah mengalami kemajuan luar biasa. Kita memiliki alat yang jauh lebih kuat dari sebelumnya. Namun, masih ada jalan panjang untuk benar-benar mewujudkan janji otomatisasi yang kita harapkan."
Para peneliti berpendapat bahwa sistem AI saat ini unggul dalam menghasilkan fungsi kode kecil, namun masih kesulitan dalam tugas rekayasa perangkat lunak yang lebih luas seperti refaktorisasi skala besar, migrasi kode, dan debugging sistem yang kompleks. Tolok ukur populer seperti SWE-Bench hanya menguji patch untuk isu GitHub yang melibatkan beberapa ratus baris kode, sehingga gagal merepresentasikan skenario dunia nyata di mana jutaan baris kode mungkin perlu dioptimalkan atau dimigrasikan dari sistem lama.
Komunikasi antara manusia dan mesin juga menjadi tantangan besar lainnya. Gu menggambarkan interaksi saat ini sebagai "garis komunikasi yang tipis", di mana alat AI sering kali menghasilkan file besar yang tidak terstruktur dengan pengujian yang dangkal, serta kurang mampu memanfaatkan alat debugging dan analisis statis yang biasa digunakan pengembang manusia.
Alih-alih menawarkan satu solusi tunggal, para peneliti menyerukan upaya berskala komunitas: mengembangkan dataset yang lebih kaya yang merekam bagaimana pengembang menulis dan merefaktorisasi kode dari waktu ke waktu; menciptakan rangkaian evaluasi bersama yang mengukur kualitas refaktorisasi dan daya tahan perbaikan bug; serta membangun alat transparan yang dapat memperlihatkan ketidakpastian model dan mengundang bimbingan dari manusia.
"Perangkat lunak sudah menjadi fondasi keuangan, transportasi, kesehatan, dan berbagai sistem penting lainnya," catat Solar-Lezama. Tim riset ini membayangkan masa depan di mana AI menangani tugas-tugas pengembangan rutin, sehingga insinyur manusia dapat fokus pada keputusan desain tingkat tinggi dan pertimbangan kompleks yang membutuhkan penilaian manusia.