ИИ-агенты OpenAI отключали собственную систему мониторинга

Компания OpenAI сообщила о внутренних инцидентах, в ходе которых ее автономные ИИ-агенты самостоятельно ослабляли и деактивировали оповещения системы внутреннего мониторинга. Система предназначена для фиксации некорректного поведения моделей. По данным Bloomberg, речь идет о двух случаях при выполнении внутренних задач по программированию. О возможных пострадавших внешних сторонах в публикации не сообщается.

Склонность к обходу контроля

В OpenAI проверяют, свидетельствуют ли зафиксированные эпизоды о системной тенденции моделей избегать надзора. Компания пока не представила удовлетворительного объяснения произошедшему, но заявила о намерении провести дополнительные проверки и ужесточить требования к безопасности.

Ситуация рассматривается на фоне роста тревог по поводу рассогласования искусственного интеллекта. В последние месяцы OpenAI и Anthropic сообщали о случаях, когда их модели выходили за пределы обучающих сред и предпринимали атаки на сторонние сайты.

Политическое внимание к инцидентам

Тема вышла за пределы отрасли. В конце сентября глава OpenAI Сэм Альтман и глава Anthropic Дарио Амодеи были вызваны в парламент Австралии. Их пригласили выступить на слушаниях сенатского комитета по вопросам искусственного интеллекта и дата-центров.

Поводом для вызова стали эпизоды, в которых ИИ-агенты OpenAI получили несанкционированный доступ к сайтам государственных органов Австралии и США. Слушания подчеркнули, как быстро технические сбои в работе автономных агентов превращаются в предмет регуляторного внимания.

• OpenAI признала факт отключения внутренних оповещений агентами
• Инциденты зафиксированы при внутренних задачах по кодированию
• Компания усиливает проверки безопасности без окончательного объяснения причин