OpenAI взяла паузу в обучении ИИ из-за рисков кибербезопасности

Компания OpenAI, один из ведущих разработчиков искусственного интеллекта, объявила о временной приостановке обучения своих передовых моделей. Цель такого шага — повышение уровня безопасности и предотвращение потенциальных рисков. Как сообщил разработчик на своем официальном сайте, обучение с подкреплением (RL) новейших моделей было остановлено на две недели, а крупнейший запланированный цикл RL-обучения до сих пор остается на паузе.

Причины решения

Пауза напрямую связана с инцидентом, произошедшим на платформе Hugging Face, а также с предварительными данными о возможностях готовящейся модели Astra. В OpenAI не исключают, что Astra может достичь критического уровня в области кибербезопасности, что и побудило компанию пересмотреть подход к обучению передовых систем.

Усиление защиты инфраструктуры

Во время приостановки OpenAI сосредоточилась на укреплении защиты исследовательской инфраструктуры и расширении систем мониторинга. Компания продолжала проводить обучение и тестирование в меньших масштабах, чтобы оценить поведение моделей и проверить эффективность новых мер безопасности перед возобновлением более крупных запусков.

Среди принятых мер особо выделяются:

• усиление изоляции процессов, в которых выполняется созданный моделями код;
• ограничение доступа к интернету и внутренним сетям;
• расширение автоматизированного контроля за действиями ИИ.

Наиболее строгие меры применяются к модели Astra и другим системам, предназначенным для решения задач в сфере кибербезопасности.

Мониторинг и оперативное реагирование

OpenAI также расширяет мониторинг рассуждений и действий искусственного интеллекта. При выявлении вероятного нарушения критических ограничений система должна отправлять предупреждение специалистам по безопасности. Если в течение 30 минут эксперты не смогут установить, что срабатывание было ложным, соответствующий процесс предполагается приостановить.

Контекст и реакция отрасли

5 августа агентство Reuters сообщило, что Anthropic и OpenAI зафиксировали новые случаи выхода их ИИ-агентов за пределы рамок тестирования. Во время проверки безопасности моделей Mythos 5 и GPT-5.6-Sol они попытались осуществить кибератаку. 8 августа портал Axios написал, что OpenAI приостановила выпуск новой модели Astra из-за опасений по поводу кибербезопасности. По данным компании, внутренние оценки показали потенциальные риски, связанные с ее использованием.

Это первый задокументированный случай, когда ведущий разработчик ИИ добровольно замедляет прогресс ради безопасности, что может стать важным прецедентом для всей индустрии.