Satu kajian baharu telah mencabar naratif umum bahawa pembantu pengekodan AI meningkatkan produktiviti pembangun secara menyeluruh.
Model Evaluation and Threat Research (METR) telah menjalankan ujian terkawal rawak untuk mengukur bagaimana alat AI awal 2025 mempengaruhi produktiviti pembangun sumber terbuka berpengalaman yang bekerja pada repositori mereka sendiri. Mengejutkan, mereka mendapati apabila pembangun menggunakan alat AI, mereka mengambil masa 19% lebih lama berbanding tanpa AI—AI sebenarnya memperlahankan mereka.
Penyelidikan ini menjejaki 16 pembangun sumber terbuka berpengalaman ketika mereka menyiapkan 246 tugasan pengekodan dunia sebenar pada repositori matang yang puratanya melebihi satu juta baris kod dan lebih 22,000 bintang GitHub. Tugasan diagihkan secara rawak sama ada membenarkan atau melarang penggunaan alat AI, dengan pembangun terutamanya menggunakan Cursor Pro bersama Claude 3.5 dan 3.7 Sonnet sepanjang tempoh kajian Februari-Jun 2025.
Keputusan ini mengejutkan semua pihak, termasuk peserta kajian sendiri. Malah selepas menyiapkan tugasan, pembangun menganggarkan AI telah meningkatkan produktiviti mereka sebanyak 20%, sedangkan data jelas menunjukkan penurunan sebanyak 19%. Ini menyerlahkan satu penemuan penting: apabila seseorang melaporkan bahawa AI mempercepatkan kerja mereka, mereka mungkin benar-benar tersilap tentang kesan sebenar.
Penyelidik METR mengenal pasti beberapa sebab berpotensi bagi kelewatan ini. Pembangun menghabiskan lebih banyak masa membuat arahan kepada AI dan menunggu respons berbanding benar-benar menulis kod. Kajian ini menimbulkan persoalan penting tentang dakwaan peningkatan produktiviti menyeluruh yang dijanjikan oleh alat pengekodan AI pada tahun 2025.
Namun, ini tidak bermakna alat AI tidak berkesan secara menyeluruh. METR menyatakan bahawa dalam kod asas yang tidak dikenali, projek peringkat awal, atau untuk pengatur cara kurang berpengalaman, AI masih boleh mempercepatkan kemajuan. Penyelidik merancang kajian lanjut untuk meneroka kes-kes tersebut. Mereka juga menekankan bahawa ini hanyalah gambaran alat pada awal 2025, dan model yang lebih pantas, integrasi lebih baik, atau amalan arahan yang dipertingkatkan boleh mengubah keadaan.
Bagi pasukan yang menggunakan pembantu AI, mesejnya jelas: alat pengekodan AI terus berkembang, tetapi dalam bentuk semasa, ia tidak menjamin peningkatan kelajuan—terutamanya untuk jurutera berpengalaman yang bekerja pada kod yang sudah mereka fahami. Organisasi harus menguji sebelum mempercayai, mengukur impak dalam persekitaran sebenar mereka, dan tidak hanya bergantung pada persepsi kelajuan semata-mata.