У последних моделей искусственного интеллекта Openai есть новая гарантия для предотвращения биорисов

Новые меры безопасности Openai для моделей искусственного интеллекта O3 и O4-Mini

OpenAI представила новую систему мониторинга для своих расширенных моделей ИИ, O3 и O4-Mini, специально предназначенной для обнаружения и предотвращения ответов на подсказки, связанные с биологическими и химическими угрозами. Этот «монитор рассуждений, ориентированный на безопасность», является ответом на расширенные возможности этих моделей, которые, согласно Openai, представляют значительный шаг по сравнению с их предшественниками и могут быть неправильно использованы злоумышленными субъектами.

Внутренние тесты компании показывают, что O3, в частности, показал более высокий уровень знания в ответе на вопросы о создании определенных биологических угроз. Чтобы решить эту и другие потенциальные риски, Openai разработала эту новую систему, которая работает вместе с O3 и O4-Mini. Он обучен распознавать и отвергать подсказки, которые могут привести к вредным советам по биологическим и химическим рискам.

Тестирование и результаты

Чтобы оценить эффективность этого монитора безопасности, OpenAI провел обширные испытания. Красные команды потратили примерно 1000 часов, выявляя «небезопасные» разговоры, связанные с биорисками, созданные O3 и O4-Mini. В моделировании «логики блокировки» монитора модели успешно отказались от реагирования на рискованные подсказки в 98,7% случаев.

Тем не менее, OpenAI признает, что их тест не учитывал сценарии, в которых пользователи могут предпринять разные подсказки после блокировки. В результате компания планирует продолжать использовать человеческий мониторинг в рамках своей стратегии безопасности.

Оценка риска и постоянный мониторинг

Несмотря на их расширенные возможности, O3 и O4-Mini не превышают порога «высокого риска» Openai для биорисов. Тем не менее, ранние версии этих моделей были более искусными в ответе на вопросы о разработке биологического оружия по сравнению с O1 и GPT-4. OpenAI активно контролирует, как эти модели могут облегчить разработку химических и биологических угроз, как указано в их обновленной структуре готовности.

OpenAI все чаще обращается к автоматизированным системам для управления рисками, связанными с его моделями. Например, аналогичный монитор рассуждений используется для предотвращения генератора изображений GPT-4O производить материал сексуального насилия над детьми (CSAM).

Проблемы и критика

Несмотря на эти усилия, некоторые исследователи утверждают, что OpenAI может недостаточно приоритет безопасности. Один из партнеров Openai's Red Teaming, Metr, отметил, что у них было ограниченное время для проверки O3 на обманчивое поведение. Кроме того, OpenAI решила не выпускать отчет о безопасности для своей недавно выпущенной модели GPT-4.1, что вызывает дополнительные опасения по поводу приверженности компании к прозрачности и безопасности.