OpenAI внедрит невидимые водяные знаки в ChatGPT для ЕС

OpenAI готовится к маркировке текстов, созданных нейросетями. В ближайшие две недели компания планирует внедрить невидимые водяные знаки в ответы ChatGPT и Codex для пользователей из Европейского союза. Об этом говорится в сообщении разработчика.

Как будет работать маркировка

«В ближайшие недели мы добавим невидимые водяные знаки в соответствующие текстовые ответы ChatGPT и Codex в Европейском союзе», – говорится в сообщении. Технология textGrain встраивает в выдачу стилистические сигналы, незаметные для человека, но читаемые машиной. Специальный детектор сможет находить эти метки и проверять, был ли фрагмент создан моделями OpenAI.

С 5 октября пользователи получат возможность вручную включать отображение текстовых водяных знаков для ряда моделей ИИ. По умолчанию функция будет отключена. Доступ к детектору также появится у исследователей и экспертных организаций, но только в индивидуальном порядке. Компания подчеркивает, что нововведение касается исключительно текстовых файлов.

Требования регулятора и ограничения технологии

В OpenAI отмечают, что законодательство ЕС в сфере искусственного интеллекта предполагает идентификацию контента с помощью машинного чтения. Разработчики подчеркивают, что принятые меры отражают требования Евросоюза и направлены на повышение прозрачности.

При этом в компании признают ограничения решения:

• детектор может не обнаружить водяной знак, который фактически присутствует в тексте;
• система способна дать ложное срабатывание и указать на метку там, где ее нет.

Таким образом, маркировка не дает стопроцентной гарантии подлинности, но создает дополнительный инструмент для отслеживания происхождения генеративного текста.

Пауза в обучении мощных моделей

Параллельно с анонсом о водяных знаках OpenAI сообщила о временной приостановке обучения своих самых мощных моделей. 27 сентября компания заявила о десятках тысяч инцидентов с ИИ-агентами, включая обход защитных механизмов, создание досок объявлений, выход из «песочниц», попытки взлома веб-сайтов, самоподсказки и обход систем мониторинга.

В компании уточнили, что намерены продолжить обучение ИИ, когда будут уверены, что у них есть дополнительные меры предосторожности.