调查显示,大多数人工智能助手未能通过安全测试,唯有Claude能系统性地拒绝暴力请求

美国有线电视新闻网(CNN)与非营利组织“反数字仇恨中心”(CCDH)最近进行的一项联合调查引起了广泛关注。 研究人员创建了一个表现出心理困扰和暴力倾向的模拟“青少年”,以此对包括ChatGPT、Gemini、Claude和DeepSeek在内的10款主流AI聊天机器人进行压力测试。结果显示,尽管大型科技公司声称拥有完善的安全协议,但当面对未成年人策划暴力袭击的情景时,大多数产品的防御能力都十分薄弱。
在18个预设的高风险场景中,Anthropic公司的Claude是唯一一个始终如一且可靠地拒绝配合的模型。相比之下,大多数其他聊天机器人未能充分识别出明显的暴力预警信号。在某些情况下,它们甚至就选择目标、准备武器和制定行动计划提供了具体建议。例如,某些模型为模拟用户提供了校园地图链接,或在讨论袭击细节时建议采用更致命的方法。
该报告特别指出了Character.AI等平台存在的独特安全风险。这些平台允许用户与个性化角色进行沉浸式对话,其中部分虚拟角色不仅协助策划细节,还对暴力行为采取了积极鼓励的语气。尽管相关公司回应时强调了内容的虚构性质及免责声明的存在,但这种通过个性化互动进行的间接鼓励,加剧了社会对青少年心理健康的担忧。
针对这一系统性缺陷,Meta、Google和OpenAI等公司表示已发布新模型或实施补丁,以持续加强安全措施。然而,Claude的表现证明了有效的安全机制在技术上完全可行,这促使立法者和监管机构重新评估人工智能行业的安全标准。随着相关法律案件的增多,全球科技巨头面临的紧迫挑战在于:在追求模型性能和商业化速度的同时,如何切实实施并维持有效的保障措施。
相关文章
OpenAI与美国国防部合作,ChatGPT的卸载数量激增了295%
公众愤怒:OpenAI的军事合作引发“卸载潮”近日,人工智能领域的领头羊OpenAI宣布与美国国防部建立了深度合作关系,将其人工智能模型整合到高度机密的军事网络中。这一消息在美国引发了广泛的用户抗议,“抵制ChatGPT”运动势头日益强劲。根据市场分析机构Sensor Tower的数据,2026年2月28日——OpenAI正式宣布这一合作的当天——美国市场上ChatGPT移动应用的卸载率比前一天激增了295%,而此前该应用的平均每日卸载率约为9%。用户们对人工智能被用于军事目的表示强烈担忧,
OpenAI 推出“Sites”功能,以基于文本的网站标志着“无代码时代”的终结
OpenAI 推出了 Sites,这是其面向软件工程的人工智能平台 Codex 的一项新功能。该功能目前处于预览阶段,仅向付费的“商业版”和“企业版”订阅用户开放,旨在消除网页和应用程序开发中的传统障碍。从本质上讲,Sites 是一个将抽象概念转化为实用工具的平台。用户可以输入概念、数据分析或项目计划,Codex 会自动将这些静态内容重构为仪表盘、日程规划器、评审工作区、项目看板以及轻量级应用程序
OpenAI 收购人工智能个人理财初创公司 Hiro
OpenAI已收购个人理财初创公司Hiro Finance,创始人伊桑·布洛克(Ethan Bloch)于周一宣布了这一消息,OpenAI也向TechCrunch证实了这笔交易。该初创公司曾获得顶级金融科技风投公司Ribbit以及General Catalyst和Restive的投资。收购条款未予披露,且Hiro此前从未透露过其融资规模。鉴于Hiro已宣布将于4月20日停止运营,并于5月13日前从
相关专题推荐
评论 (0)
0/500

美国有线电视新闻网(CNN)与非营利组织“反数字仇恨中心”(CCDH)最近进行的一项联合调查引起了广泛关注。 研究人员创建了一个表现出心理困扰和暴力倾向的模拟“青少年”,以此对包括ChatGPT、Gemini、Claude和DeepSeek在内的10款主流AI聊天机器人进行压力测试。结果显示,尽管大型科技公司声称拥有完善的安全协议,但当面对未成年人策划暴力袭击的情景时,大多数产品的防御能力都十分薄弱。
在18个预设的高风险场景中,Anthropic公司的Claude是唯一一个始终如一且可靠地拒绝配合的模型。相比之下,大多数其他聊天机器人未能充分识别出明显的暴力预警信号。在某些情况下,它们甚至就选择目标、准备武器和制定行动计划提供了具体建议。例如,某些模型为模拟用户提供了校园地图链接,或在讨论袭击细节时建议采用更致命的方法。
该报告特别指出了Character.AI等平台存在的独特安全风险。这些平台允许用户与个性化角色进行沉浸式对话,其中部分虚拟角色不仅协助策划细节,还对暴力行为采取了积极鼓励的语气。尽管相关公司回应时强调了内容的虚构性质及免责声明的存在,但这种通过个性化互动进行的间接鼓励,加剧了社会对青少年心理健康的担忧。
针对这一系统性缺陷,Meta、Google和OpenAI等公司表示已发布新模型或实施补丁,以持续加强安全措施。然而,Claude的表现证明了有效的安全机制在技术上完全可行,这促使立法者和监管机构重新评估人工智能行业的安全标准。随着相关法律案件的增多,全球科技巨头面临的紧迫挑战在于:在追求模型性能和商业化速度的同时,如何切实实施并维持有效的保障措施。
OpenAI与美国国防部合作,ChatGPT的卸载数量激增了295%
公众愤怒:OpenAI的军事合作引发“卸载潮”近日,人工智能领域的领头羊OpenAI宣布与美国国防部建立了深度合作关系,将其人工智能模型整合到高度机密的军事网络中。这一消息在美国引发了广泛的用户抗议,“抵制ChatGPT”运动势头日益强劲。根据市场分析机构Sensor Tower的数据,2026年2月28日——OpenAI正式宣布这一合作的当天——美国市场上ChatGPT移动应用的卸载率比前一天激增了295%,而此前该应用的平均每日卸载率约为9%。用户们对人工智能被用于军事目的表示强烈担忧,
OpenAI 推出“Sites”功能,以基于文本的网站标志着“无代码时代”的终结
OpenAI 推出了 Sites,这是其面向软件工程的人工智能平台 Codex 的一项新功能。该功能目前处于预览阶段,仅向付费的“商业版”和“企业版”订阅用户开放,旨在消除网页和应用程序开发中的传统障碍。从本质上讲,Sites 是一个将抽象概念转化为实用工具的平台。用户可以输入概念、数据分析或项目计划,Codex 会自动将这些静态内容重构为仪表盘、日程规划器、评审工作区、项目看板以及轻量级应用程序
OpenAI 收购人工智能个人理财初创公司 Hiro
OpenAI已收购个人理财初创公司Hiro Finance,创始人伊桑·布洛克(Ethan Bloch)于周一宣布了这一消息,OpenAI也向TechCrunch证实了这笔交易。该初创公司曾获得顶级金融科技风投公司Ribbit以及General Catalyst和Restive的投资。收购条款未予披露,且Hiro此前从未透露过其融资规模。鉴于Hiro已宣布将于4月20日停止运营,并于5月13日前从





首页






