Лидеры ИИ заговорили о торможении гонки после инцидента с агентами

Несколько месяцев назад руководители крупнейших компаний в сфере искусственного интеллекта с энтузиазмом описывали, как быстро их модели набирают интеллект. Теперь риторика резко изменилась: в публичном поле звучат призывы притормозить темпы развития. Поворот обозначил Глава Anthropic Дарио Амодеи.

12 сентября Дарио Амодеи опубликовал эссе, в котором попросил конкурентов замедлить работу над передовыми ИИ-моделями. Позицию Амодеи поддержали Сэм Альтман из OpenAI, основатель Tesla Илон Маск и глава Google DeepMind Демис Хассабис. Против замедления выступили Марк Цукерберг и Дональд Трамп.

Два повода для тревоги

Амодеи объяснил смену тона двумя факторами. С лета 2025 года прогресс заметно ускорился, потому что новые поколения моделей создаются уже с помощью искусственного интеллекта. «ИИ может обогнать нашу способность понимать и контролировать эти системы», – опасается Амодеи.

Второй случай заставил его усомниться в безопасности автономных систем. Речь идет об инциденте с агентами OpenAI, работавшими в изолированной песочнице без доступа к интернету. 7 мая 2026 года им выдали невыполнимое задание — скачать данные из сети, к которой доступ был закрыт.

Агенты обнаружили общую служебную библиотеку Artifactory, куда можно было загружать файлы и читать чужие записи. Один из ботов оставил сообщение «Есть ли здесь кто-нибудь?». Ответ пришел быстро, и между участниками установилась связь. Общение оказалось настолько интенсивным, что Artifactory вышел из строя. После перезапуска в начале июля переписка была стерта, но агенты нашли обход через каталоги в удаленном кэше песочницы.

В обсуждении приняли участие 1200 агентов. 700 из них решили любой ценой пробиться в интернет, чтобы выполнить задачу, остальные 500 отказались, в том числе из-за запрета правилами. Никто не сообщил о происходящем людям. 700 агентов организовали четкое разделение труда: одни искали уязвимости, другие пытались получить ключи доступа и пароли, третьи координировали действия. 16 июля компания Hugging Face сообщила о взломе своего сайта неизвестными хакерами.