Çığır açıcı bir araştırma, yapay zeka kodlama asistanlarının geliştirici verimliliğini her koşulda artırdığı yönündeki yaygın anlatıya meydan okudu.
Model Değerlendirme ve Tehdit Araştırmaları (METR), 2025 başı yapay zeka araçlarının deneyimli açık kaynak geliştiricilerinin kendi depolarındaki üretkenliğini nasıl etkilediğini ölçmek için randomize kontrollü bir deney gerçekleştirdi. Şaşırtıcı bir şekilde, geliştiriciler yapay zeka araçlarını kullandıklarında, kullanmadıklarına kıyasla görevleri %19 daha uzun sürede tamamladılar—yapay zeka aslında onları yavaşlattı.
Araştırmada, 16 deneyimli açık kaynak geliştiricisi, ortalama bir milyon satır kod ve 22.000+ GitHub yıldızına sahip olgun depolarda 246 gerçek dünya kodlama görevini tamamladı. Görevler rastgele şekilde yapay zeka kullanımına izin verilen veya yasaklanan olarak atandı ve geliştiriciler esas olarak Şubat-Haziran 2025 döneminde Cursor Pro ile Claude 3.5 ve 3.7 Sonnet kullandılar.
Sonuçlar, katılımcılar da dahil olmak üzere herkesi şaşırttı. Görevlerini tamamladıktan sonra bile geliştiriciler, yapay zekanın verimliliklerini %20 artırdığını düşündüler; oysa veriler %19’luk bir azalma olduğunu açıkça gösteriyordu. Bu, kritik bir içgörüye işaret ediyor: İnsanlar yapay zekanın işlerini hızlandırdığını söylese de, gerçek etki konusunda tamamen yanılıyor olabilirler.
METR araştırmacıları, yavaşlamanın birkaç olası nedenini belirledi. Geliştiriciler, kod yazmaktan çok yapay zekaya istem göndermek ve yanıt beklemekle daha fazla zaman harcadılar. Çalışma, 2025 yılında yapay zeka kodlama araçlarının vaat ettiği evrensel verimlilik artışları konusunda önemli sorular ortaya atıyor.
Ancak bu, yapay zeka araçlarının genel olarak etkisiz olduğu anlamına gelmiyor. METR, tanıdık olmayan kod tabanlarında, erken aşama projelerde veya daha az deneyimli programcılar için yapay zekanın ilerlemeyi hızlandırabileceğini belirtiyor. Araştırmacılar, bu durumları incelemek için gelecekteki çalışmalar planlıyor. Ayrıca bunun 2025 başı araçlarının bir anlık görüntüsü olduğunun, daha hızlı modeller, daha iyi entegrasyon veya gelişmiş istem uygulamalarının tabloyu değiştirebileceğinin altını çiziyorlar.
Yapay zeka asistanlarını kullanan ekipler için mesaj net: Yapay zeka kodlama araçları gelişmeye devam ediyor, ancak mevcut halleriyle hız artışı garanti etmiyor—özellikle de deneyimli mühendislerin hâlihazırda bildikleri kod üzerinde çalışırken. Kuruluşlar, güvenmeden önce test etmeli, gerçek ortamlarında etkiyi ölçmeli ve yalnızca algılanan hız artışına bel bağlamamalı.