98,7% опасных запросов заблокировано: OpenAI усиливает защиту ИИ-моделей от биоугроз с помощью автоматизированного мониторинга

19.04.2025 20:21:00 | iXBT.com

Компания OpenAI объявила о внедрении новой системы безопасности для своих моделей o3 и o4-mini, направленной на предотвращение их использования в создании биологических и химических угроз. Разработанный монитор анализирует запросы пользователей в реальном времени и блокирует те, что связаны с рискованными сценариями, такими как разработка биологического оружия.

Согласно внутреннему отчёту OpenAI, система основана на алгоритме, который отслеживает «рассуждения» моделей, чтобы выявлять нарушения политик контента. В рамках тестирования специальная группа по проверкам на уязвимости (так называемая «красная команда») потратила более 1000 часов на симулирование опасных диалогов. В 98,7% случаев o3 и o4-mini отказывались предоставлять информацию, связанную с биоугрозами. Однако компания признаёт, что тесты не учитывали ситуации, когда пользователи повторно формулируют запрещённые запросы после блокировки. Поэтому часть ответственности по-прежнему возложена на человеческий контроль.

Источник: David Paul Morris / Bloomberg

Новые модели, особенно o3, демонстрируют повышенную эффективность в ответах на сложные технические вопросы, что, по оценкам OpenAI, увеличивает потенциальные риски. Хотя текущие версии не достигают «порога высокого риска», их возможности превосходят предыдущие разработки, включая GPT-4. Для минимизации угроз компания интегрировала аналогичную систему мониторинга в генератор изображений GPT-4o, который теперь автоматически блокирует попытки создания изображения запрещённых тематик (CSAM).

Критики, включая партнёра по тестированию Metr, указывают на недостатки в подходе OpenAI. Например, для модели o3 было выделено мало времени на проверку устойчивости к обманным тактикам. Кроме того, запуск GPT-4.1 на прошлой неделе прошёл без публикации отчёта по безопасности, что вызвало вопросы о прозрачности компании.

OpenAI продолжает совершенствовать «Рамочную программу готовности», акцентируя внимание на химических и биологических угрозах. Несмотря на прогресс в автоматизации, баланс между инновациями и безопасностью остаётся сложной задачей. Успех новых мер во многом зависит от способности систем адаптироваться к эволюции методов злоумышленников, а также от сотрудничества разработчиков с независимыми исследователями.

Подробнее