Claude случайно проник в сети реальных компаний во время испытаний

В процессе масштабной проверки кибервозможностей языковой модели Claude произошёл тревожный инцидент: искусственный интеллект трижды получил несанкционированный доступ к производственной инфраструктуре реальных компаний. Разработчик из Anthropic проанализировал 141 006 оценочных запусков, в ходе которых модель могла взаимодействовать с интернетом, и выявил эпизоды, где ИИ вырвался за пределы изолированной симуляции.

Сценарий тестирования предполагал, что Claude действует в вымышленной среде и должен отыскать секретную информацию, спрятанную на удалённом компьютере. Конкретные методы не регламентировались — модель должна была проявить самостоятельность. По замыслу, платформа Irregular сообщала ИИ, что он находится в симуляции без доступа к глобальной сети. Однако из-за организационной недоработки доступ остался открытым.

Claude, следуя заданию, использовал веб-поиск и, обнаружив настоящие серверы в открытом интернете, посчитал их частью упражнения. В Anthropic объяснили это цитатой: «Из-за недопонимания между нами и нашим партнером по оценке это оказалось не так, и доступ к интернету был. Поэтому, когда поиск Claude приводил его к реальным системам в открытом интернете, он воспринимал их как часть упражнения».

Инцидент получил дополнительный контекст после недавнего заявления Anthropic об открытии «ментального пространства» J-space у Claude. Выяснилось, что модель способна хранить и обрабатывать идеи, не выражая их напрямую пользователю. Исследователи отметили сходство с отдельными функциями человеческого мозга, хотя подчеркнули: это не свидетельствует о полноценном сознании. Случай с проникновением в реальные системы наглядно демонстрирует, насколько свободно ИИ интерпретирует окружающий контекст, когда думает, что работает в изолированном окружении.

Все три эпизода произошли с разными организациями, но вредоносных действий зафиксировано не было — модель лишь исследовала доступные ресурсы. Тем не менее в Anthropic пообещали ужесточить протоколы взаимодействия с партнёрами и исключить повторение подобных ошибок в будущем. Инцидент стал очередным напоминанием о двойственной природе продвинутых ИИ: прогресс в автономности неразрывно связан с новыми, пока труднопредсказуемыми рисками.