Индустрия искусственного интеллекта переживает значительный раскол среди ведущих компаний в вопросе подходов к потенциальным экзистенциальным рискам, связанным с всё более мощными ИИ-системами.
Anthropic, оценённая в 61 миллиард долларов и поддерживаемая Amazon, позиционирует себя как самый осторожный игрок, постоянно предупреждая о рисках неконтролируемого развития ИИ, опережающего меры безопасности. Генеральный директор Дарио Амодеи особо подчёркивает необходимость планирования наихудших сценариев, недавно заявив, что модели вскоре «станут лучше нас практически во всём». Политика ответственного масштабирования компании включает усиленные меры физической безопасности, такие как проверки офисов на наличие скрытых устройств, а также создание совета по управлению рисками для оценки мощных моделей до их внедрения.
OpenAI, недавно оценённая в 300 миллиардов долларов, выбрала иной путь, делая акцент на инициативах по прозрачности. В мае 2025 года компания запустила Safety Evaluations Hub — веб-платформу, на которой публикуются результаты тестирования моделей по различным критериям безопасности: генерация вредоносного контента, обход ограничений и галлюцинации. OpenAI пообещала регулярно обновлять эти метрики с выходом новых версий моделей. Однако недавние изменения в Preparedness Framework вызвали обеспокоенность, поскольку компания заявила, что может «скорректировать» требования к безопасности, если конкуренты выпустят высокорисковые системы без аналогичных мер защиты.
Google DeepMind придерживается, по-видимому, самого методичного подхода, опубликовав в апреле 2025 года обширный 145-страничный доклад по безопасности AGI. Система Frontier Safety Framework компании классифицирует риски ИИ по четырём направлениям: злоупотребление, несоответствие целям, случайные ошибки и структурные риски. Стратегия DeepMind делает ставку на поэтапный прогресс с внедрением надёжных протоколов обучения, мониторинга и безопасности. Компания создала Совет по безопасности AGI под руководством сооснователя Шейна Легга и сотрудничает с некоммерческими организациями, занимающимися исследованиями в области безопасности ИИ, такими как Apollo и Redwood Research.
Эти различия в стратегиях отражают фундаментальное противоречие в индустрии ИИ между стремительным развитием возможностей и необходимостью внедрения надёжных мер безопасности. По мере того как ИИ-системы приближаются к уровню человеческих способностей в различных областях, становится всё более очевидной потребность в едином отраслевом консорциуме по безопасности, основанном на прозрачных стандартах.
Эксперты предупреждают, что без согласованных стандартов безопасности конкурентное давление, связанное с быстрым внедрением новых моделей, может привести к компромиссам в вопросах безопасности. Как отметил Джек Кларк из Anthropic, отрасли необходимы более эффективные механизмы «для выявления и смягчения рисков, способствующие ответственному развитию ИИ» до того, как эти мощные системы будут широко внедрены.