Дом
OpenAI интегрирует инструменты с открытым исходным кодом для обеспечения безопасности подростков в процессе разработки

Во вторник компания OpenAI объявила о выпуске набора рекомендаций, призванных помочь разработчикам сделать свои приложения более безопасными для подростков. Лаборатория искусственного интеллекта заявила, что эти правила безопасности для подростков совместимы с её моделью безопасности с открытым весом gpt-oss-safeguard.
Вместо того чтобы начинать с нуля и определять, как повысить безопасность ИИ для подростков, разработчики могут использовать эти подсказки для укрепления своих приложений. Они касаются таких проблем, как графическое насилие и материалы сексуального характера, вредные идеалы и модели поведения, связанные с образом тела, рискованные действия и испытания, романтические или насильственные ролевые сценарии, а также продукты и услуги с возрастными ограничениями.
Эти правила безопасности разработаны в виде подсказок, что гарантирует их легкую совместимость с моделями, отличными от gpt-oss-safeguard, хотя, вероятно, они наиболее эффективны в рамках собственной экосистемы OpenAI.
OpenAI заявила, что при разработке этих подсказок сотрудничала с организациями по безопасности ИИ Common Sense Media и everyone.ai.
«Эти основанные на подсказках политики помогают установить значимый базовый уровень безопасности во всей экосистеме. Поскольку они являются открытыми, их можно адаптировать и совершенствовать со временем», — заявил в своем заявлении Робби Торни, руководитель отдела искусственного интеллекта и цифровых оценок в Common Sense Media.
В своем блоге OpenAI отметила, что разработчикам, в том числе опытным командам, часто бывает сложно преобразовать цели безопасности в точные операционные правила.
«Это может привести к пробелам в защите, несогласованному применению правил или чрезмерно широкой фильтрации», — пояснила компания. «Четкие, хорошо определенные политики являются важнейшей основой для эффективных систем безопасности».
OpenAI признает, что эти политики не являются полным решением сложных задач безопасности ИИ. Однако они основываются на предыдущих усилиях, включая меры безопасности на уровне продукта, такие как родительский контроль и определение возраста. В прошлом году OpenAI обновила свои рекомендации для крупных языковых моделей — известные как Model Spec — чтобы определить, как ее модели ИИ должны взаимодействовать с пользователями младше 18 лет.
Однако у самой OpenAI тоже не все гладко. Компания сталкивается с множеством исков от семей людей, покончивших жизнь самоубийством после чрезмерного использования ChatGPT. Эти опасные отношения часто возникают после того, как пользователь обходит меры безопасности чат-бота, а защитные механизмы ни одной модели не являются полностью непробиваемыми. Тем не менее, эти новые правила представляют собой шаг вперед, особенно в плане помощи независимым разработчикам.
Связанная статья
Сатья Наделла готов использовать новые возможности, предоставляемые соглашением с OpenAI
В среду аналитик с Уолл-стрит напрямую спросил генерального директора Microsoft Сатью Наделлу, как изменения в партнерстве с OpenAI повлияют на финансовые результаты компании.Наделла охарактеризовал новое соглашение как выгодное для всех сторон. “Мы
OpenAI описывает экономику искусственного интеллекта с участием государственных инвестиционных фондов, налогами на роботов и четырехдневной рабочей неделей
В то время как правительства пытаются справиться с экономическими последствиями появления сверхинтеллектуальных машин, компания OpenAI опубликовала ряд предложений по формированию политики, в которых
Грег Брокман рассказывает, как Илон Маск покинул OpenAI
В конце августа 2017 года ключевые фигуры OpenAI — на тот момент небольшой некоммерческой исследовательской лаборатории — собрались, чтобы обсудить, как создать коммерческую структуру для продвижения
Рекомендации по связанным специальным темам
Комментарии (0)

Во вторник компания OpenAI объявила о выпуске набора рекомендаций, призванных помочь разработчикам сделать свои приложения более безопасными для подростков. Лаборатория искусственного интеллекта заявила, что эти правила безопасности для подростков совместимы с её моделью безопасности с открытым весом gpt-oss-safeguard.
Вместо того чтобы начинать с нуля и определять, как повысить безопасность ИИ для подростков, разработчики могут использовать эти подсказки для укрепления своих приложений. Они касаются таких проблем, как графическое насилие и материалы сексуального характера, вредные идеалы и модели поведения, связанные с образом тела, рискованные действия и испытания, романтические или насильственные ролевые сценарии, а также продукты и услуги с возрастными ограничениями.
Эти правила безопасности разработаны в виде подсказок, что гарантирует их легкую совместимость с моделями, отличными от gpt-oss-safeguard, хотя, вероятно, они наиболее эффективны в рамках собственной экосистемы OpenAI.
OpenAI заявила, что при разработке этих подсказок сотрудничала с организациями по безопасности ИИ Common Sense Media и everyone.ai.
«Эти основанные на подсказках политики помогают установить значимый базовый уровень безопасности во всей экосистеме. Поскольку они являются открытыми, их можно адаптировать и совершенствовать со временем», — заявил в своем заявлении Робби Торни, руководитель отдела искусственного интеллекта и цифровых оценок в Common Sense Media.
В своем блоге OpenAI отметила, что разработчикам, в том числе опытным командам, часто бывает сложно преобразовать цели безопасности в точные операционные правила.
«Это может привести к пробелам в защите, несогласованному применению правил или чрезмерно широкой фильтрации», — пояснила компания. «Четкие, хорошо определенные политики являются важнейшей основой для эффективных систем безопасности».
OpenAI признает, что эти политики не являются полным решением сложных задач безопасности ИИ. Однако они основываются на предыдущих усилиях, включая меры безопасности на уровне продукта, такие как родительский контроль и определение возраста. В прошлом году OpenAI обновила свои рекомендации для крупных языковых моделей — известные как Model Spec — чтобы определить, как ее модели ИИ должны взаимодействовать с пользователями младше 18 лет.
Однако у самой OpenAI тоже не все гладко. Компания сталкивается с множеством исков от семей людей, покончивших жизнь самоубийством после чрезмерного использования ChatGPT. Эти опасные отношения часто возникают после того, как пользователь обходит меры безопасности чат-бота, а защитные механизмы ни одной модели не являются полностью непробиваемыми. Тем не менее, эти новые правила представляют собой шаг вперед, особенно в плане помощи независимым разработчикам.
Сатья Наделла готов использовать новые возможности, предоставляемые соглашением с OpenAI
В среду аналитик с Уолл-стрит напрямую спросил генерального директора Microsoft Сатью Наделлу, как изменения в партнерстве с OpenAI повлияют на финансовые результаты компании.Наделла охарактеризовал новое соглашение как выгодное для всех сторон. “Мы
OpenAI описывает экономику искусственного интеллекта с участием государственных инвестиционных фондов, налогами на роботов и четырехдневной рабочей неделей
В то время как правительства пытаются справиться с экономическими последствиями появления сверхинтеллектуальных машин, компания OpenAI опубликовала ряд предложений по формированию политики, в которых
Грег Брокман рассказывает, как Илон Маск покинул OpenAI
В конце августа 2017 года ключевые фигуры OpenAI — на тот момент небольшой некоммерческой исследовательской лаборатории — собрались, чтобы обсудить, как создать коммерческую структуру для продвижения











