A indústria de inteligência artificial está presenciando uma divisão significativa entre suas principais empresas quanto à forma de lidar com os potenciais riscos existenciais decorrentes de sistemas de IA cada vez mais poderosos.
A Anthropic, avaliada em US$ 61 bilhões e apoiada pela Amazon, se posiciona como a empresa mais cautelosa, alertando constantemente sobre as capacidades descontroladas da IA superando as medidas de segurança. O CEO Dario Amodei tem sido especialmente enfático sobre a necessidade de planejar para os piores cenários, afirmando recentemente que os modelos em breve "serão melhores do que nós em quase tudo". A política de escalonamento responsável da empresa inclui medidas reforçadas de segurança física, como varreduras nos escritórios em busca de dispositivos ocultos e um conselho executivo de risco para avaliar modelos poderosos antes do lançamento.
A OpenAI, recentemente avaliada em US$ 300 bilhões, adotou uma abordagem diferente ao destacar iniciativas de transparência. Em maio de 2025, a empresa lançou o Safety Evaluations Hub, uma plataforma web que exibe como seus modelos se saem em diversos testes de segurança para geração de conteúdo nocivo, jailbreaks e alucinações. A OpenAI prometeu atualizar essas métricas regularmente a cada grande lançamento de modelo. No entanto, atualizações recentes em seu Preparedness Framework levantaram preocupações, já que a empresa indicou que pode "ajustar" os requisitos de segurança caso concorrentes lancem sistemas de alto risco sem proteções similares.
O Google DeepMind adotou o que parece ser a abordagem mais metódica, publicando em abril de 2025 um extenso artigo de 145 páginas sobre segurança em AGI. O Frontier Safety Framework da empresa categoriza os riscos de IA em quatro áreas: uso indevido, desalinhamento, acidentes e riscos estruturais. A estratégia da DeepMind enfatiza o progresso incremental com protocolos robustos de treinamento, monitoramento e segurança. A empresa estabeleceu um Conselho de Segurança em AGI liderado pelo cofundador Shane Legg e colabora com organizações sem fins lucrativos de pesquisa em segurança de IA, como Apollo e Redwood Research.
Essas estratégias divergentes refletem a tensão fundamental na indústria de IA entre o desenvolvimento rápido de capacidades e a implementação de salvaguardas robustas. À medida que os sistemas de IA se aproximam do desempenho em nível humano em diversos domínios, torna-se cada vez mais evidente a necessidade de um consórcio de segurança unificado e intersetorial, respaldado por métricas transparentes.
Especialistas sugerem que, sem padrões de segurança coordenados, a pressão competitiva para lançar modelos avançados rapidamente pode levar as empresas a comprometerem medidas de segurança. Como observou Jack Clark, da Anthropic, a indústria precisa de mecanismos mais fortes "para identificar e mitigar riscos, promovendo o desenvolvimento responsável da IA" antes que esses sistemas poderosos sejam amplamente implantados.