कृत्रिम बुद्धिमत्ता (एआई) उद्योग में अग्रणी कंपनियों के बीच इस बात को लेकर गहरा मतभेद उभर रहा है कि अत्यधिक शक्तिशाली एआई सिस्टम्स से उत्पन्न होने वाले संभावित अस्तित्वगत जोखिमों से कैसे निपटा जाए।
61 अरब डॉलर मूल्यांकन वाली और अमेज़न समर्थित एंथ्रॉपिक ने खुद को सबसे सतर्क खिलाड़ी के रूप में स्थापित किया है, जो लगातार चेतावनी देती रही है कि अनियंत्रित एआई क्षमताएं सुरक्षा उपायों से आगे निकल सकती हैं। सीईओ डारियो अमोडेई विशेष रूप से सबसे खराब स्थिति की योजना की आवश्यकता पर जोर देते रहे हैं। हाल ही में उन्होंने कहा कि मॉडल "लगभग हर चीज़ में हमसे बेहतर हो जाएंगे।" कंपनी की जिम्मेदार स्केलिंग नीति में ऑफिस में छुपे हुए डिवाइस की जांच जैसी भौतिक सुरक्षा के उपाय और शक्तिशाली मॉडलों की तैनाती से पहले उनका मूल्यांकन करने के लिए एक कार्यकारी जोखिम परिषद शामिल है।
हाल ही में 300 अरब डॉलर मूल्यांकन प्राप्त ओपनएआई ने एक अलग रास्ता चुना है और पारदर्शिता पहलों पर जोर दिया है। मई 2025 में कंपनी ने अपना सेफ्टी इवैल्यूएशंस हब लॉन्च किया, जो एक वेब प्लेटफॉर्म है और इसमें दिखाया जाता है कि उसके मॉडल हानिकारक कंटेंट जनरेशन, जेलब्रेक्स और हल्यूसिनेशन जैसी विभिन्न सुरक्षा परीक्षाओं में कैसे स्कोर करते हैं। ओपनएआई ने वादा किया है कि वह प्रमुख मॉडल रिलीज के साथ इन मेट्रिक्स को नियमित रूप से अपडेट करेगा। हालांकि, हाल ही में उसके प्रिपेयर्डनेस फ्रेमवर्क में किए गए बदलावों ने चिंता बढ़ा दी है, क्योंकि कंपनी ने संकेत दिया है कि यदि प्रतिस्पर्धी कंपनियां बिना समान सुरक्षा के उच्च जोखिम वाले सिस्टम जारी करती हैं, तो वह भी अपने सुरक्षा मानकों को "समायोजित" कर सकती है।
गूगल डीपमाइंड ने सबसे व्यवस्थित दृष्टिकोण अपनाया है। अप्रैल 2025 में कंपनी ने एजीआई सुरक्षा पर 145 पृष्ठों का विस्तृत पेपर जारी किया। कंपनी की फ्रंटियर सेफ्टी फ्रेमवर्क एआई जोखिमों को चार श्रेणियों में बांटती है: दुरुपयोग, मिसअलाइनमेंट, दुर्घटनाएं और संरचनात्मक जोखिम। डीपमाइंड की रणनीति मजबूत प्रशिक्षण, निगरानी और सुरक्षा प्रोटोकॉल के साथ क्रमिक प्रगति पर जोर देती है। कंपनी ने सह-संस्थापक शेन लेग के नेतृत्व में एजीआई सेफ्टी काउंसिल बनाई है और अपोलो तथा रेडवुड रिसर्च जैसी गैर-लाभकारी एआई सुरक्षा अनुसंधान संस्थाओं के साथ सहयोग करती है।
इन भिन्न रणनीतियों से एआई उद्योग में तेज क्षमतावृद्धि और मजबूत सुरक्षा उपायों के क्रियान्वयन के बीच बुनियादी तनाव उजागर होता है। जैसे-जैसे एआई सिस्टम विभिन्न क्षेत्रों में मानव-स्तरीय प्रदर्शन के करीब पहुंच रहे हैं, पारदर्शी बेंचमार्क के साथ एकीकृत, उद्योग-व्यापी सुरक्षा संघ की आवश्यकता और स्पष्ट होती जा रही है।
विशेषज्ञों का मानना है कि यदि समन्वित सुरक्षा मानक नहीं बने, तो एडवांस्ड मॉडल्स को जल्दी तैनात करने की प्रतिस्पर्धा कंपनियों को सुरक्षा उपायों से समझौता करने के लिए मजबूर कर सकती है। जैसा कि एंथ्रॉपिक के जैक क्लार्क ने कहा, उद्योग को "जोखिमों की पहचान और शमन के लिए मजबूत तंत्र की आवश्यकता है, ताकि इन शक्तिशाली सिस्टम्स के व्यापक रूप से लागू होने से पहले जिम्मेदार एआई विकास आगे बढ़ सके।"