Sebuah studi terobosan menantang narasi umum bahwa asisten pemrograman berbasis AI selalu meningkatkan produktivitas developer.
Model Evaluation and Threat Research (METR) melakukan uji coba terkontrol secara acak untuk mengukur bagaimana alat AI awal 2025 memengaruhi produktivitas pengembang open-source berpengalaman yang bekerja di repositori mereka sendiri. Secara mengejutkan, ditemukan bahwa ketika para pengembang menggunakan alat AI, mereka justru membutuhkan waktu 19% lebih lama dibandingkan tanpa AI—AI justru membuat mereka lebih lambat.
Penelitian ini melacak 16 pengembang open-source berpengalaman saat mereka menyelesaikan 246 tugas pemrograman nyata di repositori matang dengan rata-rata lebih dari satu juta baris kode dan lebih dari 22.000 bintang di GitHub. Tugas-tugas tersebut secara acak ditetapkan untuk memperbolehkan atau melarang penggunaan alat AI, dengan para pengembang terutama menggunakan Cursor Pro dengan Claude 3.5 dan 3.7 Sonnet selama periode studi Februari-Juni 2025.
Hasilnya mengejutkan semua pihak, termasuk para peserta studi sendiri. Bahkan setelah menyelesaikan tugas, para pengembang memperkirakan AI telah meningkatkan produktivitas mereka sebesar 20%, padahal data jelas menunjukkan penurunan sebesar 19%. Ini menyoroti wawasan penting: ketika seseorang melaporkan bahwa AI mempercepat pekerjaan mereka, mereka bisa saja benar-benar keliru mengenai dampak sebenarnya.
Peneliti METR mengidentifikasi beberapa alasan potensial terjadinya perlambatan. Para pengembang menghabiskan lebih banyak waktu untuk membuat prompt ke AI dan menunggu respons, alih-alih benar-benar menulis kode. Studi ini memunculkan pertanyaan penting tentang janji peningkatan produktivitas universal dari alat pemrograman AI pada tahun 2025.
Namun, ini tidak berarti alat AI secara umum tidak efektif. METR mencatat bahwa pada basis kode yang belum dikenal, proyek tahap awal, atau untuk programmer yang kurang berpengalaman, AI masih bisa mempercepat kemajuan. Para peneliti berencana melakukan studi lanjutan untuk mengeksplorasi kasus-kasus tersebut. Mereka juga menekankan bahwa ini adalah gambaran alat AI di awal 2025, dan model yang lebih cepat, integrasi yang lebih baik, atau praktik prompt yang lebih baik dapat mengubah hasilnya.
Bagi tim yang menerapkan asisten AI, pesannya jelas: alat pemrograman AI terus berkembang, namun dalam bentuknya saat ini, alat tersebut tidak menjamin peningkatan kecepatan—terutama untuk engineer berpengalaman yang mengerjakan kode yang sudah mereka pahami. Organisasi sebaiknya melakukan pengujian sebelum mempercayai, mengukur dampak di lingkungan nyata mereka, dan tidak hanya mengandalkan persepsi kecepatan semata.