Industri kecerdasan buatan tengah menyaksikan perpecahan signifikan di antara para pemain utamanya terkait cara menghadapi potensi risiko eksistensial dari sistem AI yang semakin kuat.
Anthropic, yang bernilai US$61 miliar dan didukung oleh Amazon, memposisikan diri sebagai pemain paling berhati-hati, secara konsisten memperingatkan bahaya kemampuan AI yang tidak terkendali melampaui langkah-langkah keamanan. CEO Dario Amodei secara vokal menekankan pentingnya perencanaan skenario terburuk, baru-baru ini menyatakan bahwa model AI "segera akan lebih baik dari kita dalam hampir segala hal." Kebijakan scaling yang bertanggung jawab dari perusahaan ini mencakup peningkatan keamanan fisik seperti penyisiran kantor untuk perangkat tersembunyi dan dewan risiko eksekutif yang menilai model-model kuat sebelum diluncurkan.
OpenAI, yang baru-baru ini bernilai US$300 miliar, mengambil pendekatan berbeda dengan menekankan inisiatif transparansi. Pada Mei 2025, perusahaan ini meluncurkan Safety Evaluations Hub, sebuah platform web yang menampilkan skor model-modelnya pada berbagai uji keamanan untuk konten berbahaya, jailbreak, dan halusinasi. OpenAI berjanji akan memperbarui metrik ini secara rutin setiap kali ada peluncuran model utama. Namun, pembaruan terbaru pada Preparedness Framework menimbulkan kekhawatiran karena perusahaan mengindikasikan mungkin akan "menyesuaikan" persyaratan keamanan jika pesaing merilis sistem berisiko tinggi tanpa perlindungan serupa.
Google DeepMind mengadopsi pendekatan yang tampak paling metodis, dengan merilis makalah setebal 145 halaman tentang keamanan AGI pada April 2025. Frontier Safety Framework milik perusahaan ini mengkategorikan risiko AI ke dalam empat area: penyalahgunaan, misalignment, kecelakaan, dan risiko struktural. Strategi DeepMind menekankan kemajuan bertahap dengan pelatihan, pemantauan, dan protokol keamanan yang kuat. Perusahaan telah membentuk AGI Safety Council yang dipimpin oleh salah satu pendiri, Shane Legg, serta bekerja sama dengan organisasi riset keamanan AI nirlaba seperti Apollo dan Redwood Research.
Perbedaan strategi ini mencerminkan ketegangan mendasar dalam industri AI antara pengembangan kemampuan yang cepat dan penerapan perlindungan yang kuat. Seiring sistem AI mendekati kinerja setara manusia di berbagai bidang, kebutuhan akan konsorsium keamanan lintas industri yang didukung tolok ukur transparan semakin terasa.
Para ahli menyarankan tanpa standar keamanan yang terkoordinasi, tekanan kompetitif untuk segera meluncurkan model canggih dapat membuat perusahaan mengorbankan aspek keamanan. Seperti yang dicatat Jack Clark dari Anthropic, industri membutuhkan mekanisme yang lebih kuat "untuk mengidentifikasi dan memitigasi risiko, serta mendorong pengembangan AI yang bertanggung jawab" sebelum sistem-sistem kuat ini digunakan secara luas.