एक क्रांतिकारी अध्ययन ने इस आम धारणा को चुनौती दी है कि AI कोडिंग असिस्टेंट्स हर स्तर पर डेवलपर उत्पादकता को बढ़ाते हैं।
Model Evaluation and Threat Research (METR) ने एक रैंडमाइज्ड कंट्रोल्ड ट्रायल के ज़रिए यह मापा कि 2025 की शुरुआत के AI टूल्स अनुभवी ओपन-सोर्स डेवलपर्स की उत्पादकता पर क्या असर डालते हैं, जब वे अपनी स्वयं की रिपॉजिटरीज़ पर काम करते हैं। चौंकाने वाली बात यह रही कि जब डेवलपर्स ने AI टूल्स का इस्तेमाल किया, तो वे बिना AI की तुलना में 19% अधिक समय लेते थे—यानी AI ने उनकी गति कम कर दी।
इस शोध में 16 अनुभवी ओपन-सोर्स डेवलपर्स को ट्रैक किया गया, जिन्होंने औसतन दस लाख से अधिक लाइनों वाले और 22,000+ GitHub स्टार्स वाले परिपक्व रिपॉजिटरीज़ पर 246 वास्तविक कोडिंग कार्य पूरे किए। कार्यों को यादृच्छिक रूप से AI टूल्स के उपयोग की अनुमति या निषेध के लिए सौंपा गया था, और डेवलपर्स ने मुख्य रूप से Cursor Pro के साथ Claude 3.5 और 3.7 Sonnet का उपयोग किया, यह अध्ययन फरवरी-जून 2025 के दौरान हुआ।
परिणाम सभी के लिए, यहां तक कि प्रतिभागियों के लिए भी, चौंकाने वाले थे। कार्य पूरे करने के बाद भी डेवलपर्स ने अनुमान लगाया कि AI ने उनकी उत्पादकता 20% बढ़ाई, जबकि आंकड़ों ने स्पष्ट रूप से 19% की गिरावट दर्शाई। यह एक महत्वपूर्ण तथ्य उजागर करता है: जब लोग रिपोर्ट करते हैं कि AI ने उनके काम की गति बढ़ाई है, तो वे वास्तविक प्रभाव के बारे में पूरी तरह गलत हो सकते हैं।
METR के शोधकर्ताओं ने इस मंदी के कई संभावित कारण पहचाने। डेवलपर्स ने कोडिंग के बजाय AI को प्रॉम्प्ट देने और उसके उत्तर की प्रतीक्षा करने में कहीं अधिक समय लगाया। यह अध्ययन 2025 में AI कोडिंग टूल्स द्वारा वादा किए गए सार्वभौमिक उत्पादकता लाभों पर गंभीर प्रश्न उठाता है।
हालांकि, इसका यह अर्थ नहीं कि AI टूल्स हर जगह अप्रभावी हैं। METR का कहना है कि अनजान कोडबेस, शुरुआती परियोजनाओं या कम अनुभवी प्रोग्रामर्स के लिए AI अब भी प्रगति को तेज़ कर सकता है। शोधकर्ता भविष्य में इन मामलों पर और अध्ययन करने की योजना बना रहे हैं। वे यह भी स्पष्ट करते हैं कि यह 2025 के शुरुआती टूलिंग का स्नैपशॉट था—तेज़ मॉडल, बेहतर इंटीग्रेशन या उन्नत प्रॉम्प्टिंग से समीकरण बदल सकता है।
AI असिस्टेंट्स को अपनाने वाली टीमों के लिए संदेश स्पष्ट है: AI कोडिंग टूल्स लगातार विकसित हो रहे हैं, लेकिन अपने वर्तमान रूप में वे अनुभवी इंजीनियरों के लिए—जो अपनी कोडबेस को पहले से जानते हैं—गति की गारंटी नहीं देते। संगठनों को भरोसा करने से पहले परीक्षण करना चाहिए, अपने वास्तविक वातावरण में प्रभाव मापना चाहिए, और केवल अनुमानित गति पर निर्भर नहीं रहना चाहिए।