Дом
У последних моделей искусственного интеллекта Openai есть новая гарантия для предотвращения биорисов
Новые меры безопасности OpenAI для моделей ИИ o3 и o4-mini
OpenAI внедрила новую систему мониторинга для своих передовых моделей ИИ, o3 и o4-mini, специально разработанную для обнаружения и предотвращения ответов на запросы, связанные с биологическими и химическими угрозами. Этот «монитор, ориентированный на безопасность» является ответом на улучшенные возможности этих моделей, которые, по словам OpenAI, представляют значительный шаг вперед по сравнению с их предшественниками и могут быть использованы злоумышленниками.
Внутренние тесты компании показывают, что o3, в частности, демонстрирует более высокую компетентность в ответах на вопросы о создании определённых биологических угроз. Для решения этой и других потенциальных угроз OpenAI разработала эту новую систему, которая работает параллельно с o3 и o4-mini. Она обучена распознавать и отклонять запросы, которые могут привести к вредоносным советам по биологическим и химическим рискам.
Тестирование и результаты
Для оценки эффективности этого монитора безопасности OpenAI провела обширное тестирование. Команды «красных» тестировщиков потратили около 1000 часов на выявление «небезопасных» разговоров, связанных с биорисками, сгенерированных o3 и o4-mini. В симуляции «логики блокировки» монитора модели успешно отказывались отвечать на рискованные запросы в 98,7% случаев.
Однако OpenAI признаёт, что их тесты не учитывали сценарии, при которых пользователи могут пытаться использовать разные запросы после блокировки. В результате компания планирует продолжать использовать человеческий мониторинг как часть своей стратегии безопасности.
Оценка рисков и постоянный мониторинг
Несмотря на свои передовые возможности, o3 и o4-mini не превышают порог «высокого риска» OpenAI для биорисков. Тем не менее, ранние версии этих моделей были более искусны в ответах на вопросы о разработке биологического оружия по сравнению с o1 и GPT-4. OpenAI активно отслеживает, как эти модели могут способствовать разработке химических и биологических угроз, как указано в их обновлённой рамке готовности (Preparedness Framework).

Диаграмма из системной карты o3 и o4-mini (Скриншот: OpenAI) OpenAI всё чаще прибегает к автоматизированным системам для управления рисками, создаваемыми её моделями. Например, аналогичный монитор используется для предотвращения создания генератором изображений GPT-4o материалов, связанных с сексуальным насилием над детьми (CSAM).
Обеспокоенность и критика
Несмотря на эти усилия, некоторые исследователи утверждают, что OpenAI, возможно, недостаточно приоритетно относится к безопасности. Один из партнёров OpenAI по «красному» тестированию, Metr, отметил, что у них было ограниченное время для тестирования o3 на предмет обманного поведения. Кроме того, OpenAI решила не публиковать отчёт о безопасности для недавно запущенной модели GPT-4.1, что вызывает дополнительные опасения по поводу приверженности компании прозрачности и безопасности.
Связанная статья
OpenAI запускает более безопасную версию ChatGPT для подростков спустя несколько лет после того, как они начали ею пользоваться
После серии судебных исков, связанных с отсутствием протоколов безопасности в чат-ботах на базе ИИ — что стало одной из причин самоубийств подростков и других кризисов, связанных с психическим здоровь
Frontier AI Labs отказывается раскрывать стратегии локализации неконтролируемых моделей
Последние исследования показывают, что лишь немногие ведущие лаборатории, занимающиеся ИИ, опубликовали или продемонстрировали планы реагирования на попытки выхода системы из-под контроля. План сдержи
Tiffany Luck из NEA: Компании по-прежнему борются с вопросами окупаемости инвестиций в ИИ
Загрузка плеера…Ранее в этом году «токеномаксимизация» доминировала в Кремниевой долине, когда генеральные директора призывали сотрудников максимально использовать возможности искусственного интеллекта. Однако этот энтузиазм быстро столкнулся с реал
Рекомендации по связанным специальным темам
Комментарии (6)
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
OpenAIの新しい安全機能は素晴らしいですね!生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI!😊
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
Новые меры безопасности OpenAI для моделей ИИ o3 и o4-mini
OpenAI внедрила новую систему мониторинга для своих передовых моделей ИИ, o3 и o4-mini, специально разработанную для обнаружения и предотвращения ответов на запросы, связанные с биологическими и химическими угрозами. Этот «монитор, ориентированный на безопасность» является ответом на улучшенные возможности этих моделей, которые, по словам OpenAI, представляют значительный шаг вперед по сравнению с их предшественниками и могут быть использованы злоумышленниками.
Внутренние тесты компании показывают, что o3, в частности, демонстрирует более высокую компетентность в ответах на вопросы о создании определённых биологических угроз. Для решения этой и других потенциальных угроз OpenAI разработала эту новую систему, которая работает параллельно с o3 и o4-mini. Она обучена распознавать и отклонять запросы, которые могут привести к вредоносным советам по биологическим и химическим рискам.
Тестирование и результаты
Для оценки эффективности этого монитора безопасности OpenAI провела обширное тестирование. Команды «красных» тестировщиков потратили около 1000 часов на выявление «небезопасных» разговоров, связанных с биорисками, сгенерированных o3 и o4-mini. В симуляции «логики блокировки» монитора модели успешно отказывались отвечать на рискованные запросы в 98,7% случаев.
Однако OpenAI признаёт, что их тесты не учитывали сценарии, при которых пользователи могут пытаться использовать разные запросы после блокировки. В результате компания планирует продолжать использовать человеческий мониторинг как часть своей стратегии безопасности.
Оценка рисков и постоянный мониторинг
Несмотря на свои передовые возможности, o3 и o4-mini не превышают порог «высокого риска» OpenAI для биорисков. Тем не менее, ранние версии этих моделей были более искусны в ответах на вопросы о разработке биологического оружия по сравнению с o1 и GPT-4. OpenAI активно отслеживает, как эти модели могут способствовать разработке химических и биологических угроз, как указано в их обновлённой рамке готовности (Preparedness Framework).

OpenAI всё чаще прибегает к автоматизированным системам для управления рисками, создаваемыми её моделями. Например, аналогичный монитор используется для предотвращения создания генератором изображений GPT-4o материалов, связанных с сексуальным насилием над детьми (CSAM).
Обеспокоенность и критика
Несмотря на эти усилия, некоторые исследователи утверждают, что OpenAI, возможно, недостаточно приоритетно относится к безопасности. Один из партнёров OpenAI по «красному» тестированию, Metr, отметил, что у них было ограниченное время для тестирования o3 на предмет обманного поведения. Кроме того, OpenAI решила не публиковать отчёт о безопасности для недавно запущенной модели GPT-4.1, что вызывает дополнительные опасения по поводу приверженности компании прозрачности и безопасности.
OpenAI запускает более безопасную версию ChatGPT для подростков спустя несколько лет после того, как они начали ею пользоваться
После серии судебных исков, связанных с отсутствием протоколов безопасности в чат-ботах на базе ИИ — что стало одной из причин самоубийств подростков и других кризисов, связанных с психическим здоровь
Frontier AI Labs отказывается раскрывать стратегии локализации неконтролируемых моделей
Последние исследования показывают, что лишь немногие ведущие лаборатории, занимающиеся ИИ, опубликовали или продемонстрировали планы реагирования на попытки выхода системы из-под контроля. План сдержи
Tiffany Luck из NEA: Компании по-прежнему борются с вопросами окупаемости инвестиций в ИИ
Загрузка плеера…Ранее в этом году «токеномаксимизация» доминировала в Кремниевой долине, когда генеральные директора призывали сотрудников максимально использовать возможности искусственного интеллекта. Однако этот энтузиазм быстро столкнулся с реал
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
OpenAIの新しい安全機能は素晴らしいですね!生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI!😊
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊











