Anthropic: модель Claude пытались использовать для атак и биологического оружия

Anthropic опубликовала отчет о злоупотреблениях моделью Claude

Компания Anthropic сообщила о попытках использовать языковую модель Claude в кибератаках, шпионаже, пропагандистских кампаниях и разработке вооружений. По данным компании, злоумышленники стремились задействовать ИИ в качестве автономного координатора операций.

В представленном отчете описаны случаи неправомерного применения модели в период с декабря 2025 г. по август 2026 г. В ходе атак Claude использовалась для взлома систем и переписывания вредоносного кода с целью обхода защитных механизмов. Также зафиксированы попытки применения модели при создании программного обеспечения для управляемых ракет и других систем вооружения.

Кроме того, Anthropic выявила попытки использовать ИИ для массовой слежки, информационных кампаний и распространения пропаганды. Особую тревогу у компании вызвало применение Claude в биологических исследованиях. Модель запрашивали для изучения мутаций и механизмов, позволяющих опасным вирусам адаптироваться к иммунитету.

В Anthropic заявили об усилении ограничений для современных версий моделей, одновременно признав, что одних защитных фильтров недостаточно для предотвращения рисков.

Обвинения в адрес китайских разработчиков

10 сентября Anthropic обвинила китайские ИИ-компании Moonshot AI и DeepSeek в тайном перенаправлении запросов пользователей в Claude с выдачей полученных результатов за ответы собственных моделей. Moonshot AI, создавшая семейство моделей Kimi, направляла клиентские запросы в Claude вместо их обработки собственной моделью, а пользователям показывались ответы как результат работы Kimi.

По утверждению Anthropic, в одном из случаев Moonshot за десять дней перенаправила почти 300 000 запросов через сеть из 5380 учетных записей, большинство из которых находились в Сингапуре и Японии. Похожую практику компания обнаружила и у DeepSeek.

Дипломатический контекст

5 сентября Reuters писал, что США намерены предложить Китаю сотрудничество в отслеживании кибератак, совершаемых с использованием ИИ. Этот вопрос должен стать одним из ключевых на первых двусторонних переговорах по ИИ, запланированных на середину сентября.