OpenAI 在开发过程中整合了用于保障青少年安全的开源工具

周二,OpenAI宣布发布了一套提示词,旨在帮助开发者让他们的应用程序对青少年更加安全。该人工智能实验室表示,这些青少年安全政策与其开放权重安全模型gpt-oss-safeguard兼容。
开发者无需从头开始研究如何提升青少年AI安全,只需使用这些提示词即可强化其应用程序。这些提示词针对的关注点包括:血腥暴力及色情内容、有害的身体形象观念与行为、高风险活动与挑战、涉及浪漫或暴力的角色扮演场景,以及受年龄限制的产品和服务。
这些安全政策以提示词的形式设计,确保其不仅能与 GPT-OSS-Safeguard 模型配合使用,还能轻松适配其他模型,尽管在 OpenAI 的自有生态系统中效果可能最为显著。
OpenAI表示,其与AI安全组织Common Sense Media和everyone.ai合作开发了这些提示词。
“这些基于提示词的政策有助于在整个生态系统中建立有意义的安全基准。由于它们是开源的,因此可以随着时间的推移进行调整和增强,”Common Sense Media 人工智能与数字评估主管罗比·托尼(Robbie Torney)在一份声明中表示。
OpenAI 在其博客中指出,包括经验丰富的团队在内的开发者,往往难以将安全目标转化为精确、可操作的规则。
“这可能导致保护漏洞、执行不一致或过滤范围过广,”该公司解释道。“清晰、明确的政策是有效安全系统的重要基础。”
OpenAI承认,这些政策并非解决AI安全这一复杂挑战的完整方案。但它们是在此前工作基础上构建的,包括家长控制和年龄预测等产品级安全措施。去年,OpenAI更新了其大型语言模型指南(即Model Spec),以规范其AI模型应如何与18岁以下用户互动。
不过,OpenAI自身也并非毫无瑕疵。该公司正面临多起诉讼,原告均为因过度使用ChatGPT而自杀身亡者的家属。这种有害的互动往往发生在用户绕过聊天机器人的安全防护之后,且没有任何模型的防护机制是完全无懈可击的。尽管如此,这些新政策仍代表着向前迈出的一步,特别是在协助独立开发者方面。
相关文章
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三,一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉,修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系,并确保它能够实现双赢。只有这样,双方才能保持良好的合作伙伴关系。” 他强调,微软仍然可以使用OpenAI的知识产权,包括其模型和智能体产品,但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术,纳德拉表示:“
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际,OpenAI发布了一套政策建议,概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单,这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
格雷格·布罗克曼揭秘埃隆·马斯克如何离开OpenAI
2017年8月下旬,OpenAI(当时还是一家小型非营利研究实验室)的核心成员召开会议,商讨如何成立一家营利性实体,以实现技术的商业化,并筹集实现通用人工智能(AGI)所需的资金。埃隆·马斯克要求全面掌控公司,并刚刚向每位联合创始人赠送了一辆特斯拉Model 3。首席技术官格雷格·布罗克曼表示,他认为这是马斯克试图收买人心,当时马斯克和萨姆·阿尔特曼正就各自对公司未来愿景的支持展开角逐。 Open
相关专题推荐
评论 (0)
0/500

周二,OpenAI宣布发布了一套提示词,旨在帮助开发者让他们的应用程序对青少年更加安全。该人工智能实验室表示,这些青少年安全政策与其开放权重安全模型gpt-oss-safeguard兼容。
开发者无需从头开始研究如何提升青少年AI安全,只需使用这些提示词即可强化其应用程序。这些提示词针对的关注点包括:血腥暴力及色情内容、有害的身体形象观念与行为、高风险活动与挑战、涉及浪漫或暴力的角色扮演场景,以及受年龄限制的产品和服务。
这些安全政策以提示词的形式设计,确保其不仅能与 GPT-OSS-Safeguard 模型配合使用,还能轻松适配其他模型,尽管在 OpenAI 的自有生态系统中效果可能最为显著。
OpenAI表示,其与AI安全组织Common Sense Media和everyone.ai合作开发了这些提示词。
“这些基于提示词的政策有助于在整个生态系统中建立有意义的安全基准。由于它们是开源的,因此可以随着时间的推移进行调整和增强,”Common Sense Media 人工智能与数字评估主管罗比·托尼(Robbie Torney)在一份声明中表示。
OpenAI 在其博客中指出,包括经验丰富的团队在内的开发者,往往难以将安全目标转化为精确、可操作的规则。
“这可能导致保护漏洞、执行不一致或过滤范围过广,”该公司解释道。“清晰、明确的政策是有效安全系统的重要基础。”
OpenAI承认,这些政策并非解决AI安全这一复杂挑战的完整方案。但它们是在此前工作基础上构建的,包括家长控制和年龄预测等产品级安全措施。去年,OpenAI更新了其大型语言模型指南(即Model Spec),以规范其AI模型应如何与18岁以下用户互动。
不过,OpenAI自身也并非毫无瑕疵。该公司正面临多起诉讼,原告均为因过度使用ChatGPT而自杀身亡者的家属。这种有害的互动往往发生在用户绕过聊天机器人的安全防护之后,且没有任何模型的防护机制是完全无懈可击的。尽管如此,这些新政策仍代表着向前迈出的一步,特别是在协助独立开发者方面。
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三,一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉,修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系,并确保它能够实现双赢。只有这样,双方才能保持良好的合作伙伴关系。” 他强调,微软仍然可以使用OpenAI的知识产权,包括其模型和智能体产品,但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术,纳德拉表示:“
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际,OpenAI发布了一套政策建议,概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单,这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
格雷格·布罗克曼揭秘埃隆·马斯克如何离开OpenAI
2017年8月下旬,OpenAI(当时还是一家小型非营利研究实验室)的核心成员召开会议,商讨如何成立一家营利性实体,以实现技术的商业化,并筹集实现通用人工智能(AGI)所需的资金。埃隆·马斯克要求全面掌控公司,并刚刚向每位联合创始人赠送了一辆特斯拉Model 3。首席技术官格雷格·布罗克曼表示,他认为这是马斯克试图收买人心,当时马斯克和萨姆·阿尔特曼正就各自对公司未来愿景的支持展开角逐。 Open





首页






