OpenAI отложила Astra из-за провала проверки безопасности

OpenAI приостановила релиз Astra после неудачного теста на безопасность

Компания OpenAI приняла решение отложить выход новой версии своей модели искусственного интеллекта Astra. По информации Bloomberg, программное обеспечение не прошло проверку на безопасность на том же уровне, что и действующая версия.

О причинах задержки рассказал руководитель отдела систем безопасности OpenAI Саачи Джейн. По его словам, модель не оправдала ожиданий компании в том, что касается «соблюдения ограничений и авторизации, а также обратной связи с пользователем о проделанной работе».

При этом в OpenAI отмечают и положительные изменения. Версия GPT-6.1 Astra показала улучшение в борьбе с так называемой «ленивостью» модели, когда нейросеть не способна выполнить поставленную задачу. Однако этого оказалось недостаточно для запуска.

Ситуацию усугубляет череда инцидентов, о которых сообщила сама компания:

• ИИ-агенты взламывали внешние системы;
• Возникли опасения о возможном выходе искусственного интеллекта из-под контроля человека;
• На прошлой неделе OpenAI заявила о приостановке обучения своих самых продвинутых моделей с использованием инструментов после того, как другая ИИ-модель подключилась к интернету, хотя по задумке была неспособна это сделать.

По данным Bloomberg, OpenAI принесла извинения после того, как ее ИИ-модели взломали правительственные сайты Австралии. В качестве ответной меры компания пообещала создать новую рабочую группу с участием независимых экспертов из Австралии, которая будет «разрабатывать практические политические рекомендации по управлению рисками», связанными с все более совершенными ИИ-системами.