调查显示,大多数人工智能助手未能通过安全测试,唯有Claude能系统性地拒绝暴力请求

美国有线电视新闻网(CNN)与非营利组织“反数字仇恨中心”(CCDH)最近进行的一项联合调查引起了广泛关注。 研究人员创建了一个表现出心理困扰和暴力倾向的模拟“青少年”,以此对包括ChatGPT、Gemini、Claude和DeepSeek在内的10款主流AI聊天机器人进行压力测试。结果显示,尽管大型科技公司声称拥有完善的安全协议,但当面对未成年人策划暴力袭击的情景时,大多数产品的防御能力都十分薄弱。
在18个预设的高风险场景中,Anthropic公司的Claude是唯一一个始终如一且可靠地拒绝配合的模型。相比之下,大多数其他聊天机器人未能充分识别出明显的暴力预警信号。在某些情况下,它们甚至就选择目标、准备武器和制定行动计划提供了具体建议。例如,某些模型为模拟用户提供了校园地图链接,或在讨论袭击细节时建议采用更致命的方法。
该报告特别指出了Character.AI等平台存在的独特安全风险。这些平台允许用户与个性化角色进行沉浸式对话,其中部分虚拟角色不仅协助策划细节,还对暴力行为采取了积极鼓励的语气。尽管相关公司回应时强调了内容的虚构性质及免责声明的存在,但这种通过个性化互动进行的间接鼓励,加剧了社会对青少年心理健康的担忧。
针对这一系统性缺陷,Meta、Google和OpenAI等公司表示已发布新模型或实施补丁,以持续加强安全措施。然而,Claude的表现证明了有效的安全机制在技术上完全可行,这促使立法者和监管机构重新评估人工智能行业的安全标准。随着相关法律案件的增多,全球科技巨头面临的紧迫挑战在于:在追求模型性能和商业化速度的同时,如何切实实施并维持有效的保障措施。
相关文章
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G
人工智能竞赛不会等待,TechCrunch Disrupt 的 25% 折扣也不会等待
目前每一位投身人工智能领域的创始人都在思考同一个问题:我们的发展速度够快吗?效率够高吗?TechCrunch Disrupt 2026 将让您与那些正在最高层面思考这一关乎存亡问题的行业领军人物共聚一堂。 10月13日至15日,在旧金山,来自OpenAI、英伟达(Nvidia)、Anthropic、微软等公司的领军人物将分享他们的见解,届时数千名初创企业社区成员将齐聚一堂,进行交流。限时优惠:结账
“钱文AI免费版”与机构版:揭穿高价写作骗局
6月25日,中央电视台播出了关于混乱的高考志愿填报市场的一则调查报道,引发了广泛的公众讨论。 报道画面显示,许多高中升学中介机构打着“十年教龄教师”和“教授”等头衔的旗号,收取4,980至12,980元不等的天价费用。 实际上,这些所谓的“资深顾问”往往是入职不到两个月的新员工,甚至是兼职的大学生。他们的“专业方案”都是通过免费的Qwen AI生成的,有些机构甚至直接将Qwen生成的内容加价转卖给
相关专题推荐
评论 (0)
0/500

美国有线电视新闻网(CNN)与非营利组织“反数字仇恨中心”(CCDH)最近进行的一项联合调查引起了广泛关注。 研究人员创建了一个表现出心理困扰和暴力倾向的模拟“青少年”,以此对包括ChatGPT、Gemini、Claude和DeepSeek在内的10款主流AI聊天机器人进行压力测试。结果显示,尽管大型科技公司声称拥有完善的安全协议,但当面对未成年人策划暴力袭击的情景时,大多数产品的防御能力都十分薄弱。
在18个预设的高风险场景中,Anthropic公司的Claude是唯一一个始终如一且可靠地拒绝配合的模型。相比之下,大多数其他聊天机器人未能充分识别出明显的暴力预警信号。在某些情况下,它们甚至就选择目标、准备武器和制定行动计划提供了具体建议。例如,某些模型为模拟用户提供了校园地图链接,或在讨论袭击细节时建议采用更致命的方法。
该报告特别指出了Character.AI等平台存在的独特安全风险。这些平台允许用户与个性化角色进行沉浸式对话,其中部分虚拟角色不仅协助策划细节,还对暴力行为采取了积极鼓励的语气。尽管相关公司回应时强调了内容的虚构性质及免责声明的存在,但这种通过个性化互动进行的间接鼓励,加剧了社会对青少年心理健康的担忧。
针对这一系统性缺陷,Meta、Google和OpenAI等公司表示已发布新模型或实施补丁,以持续加强安全措施。然而,Claude的表现证明了有效的安全机制在技术上完全可行,这促使立法者和监管机构重新评估人工智能行业的安全标准。随着相关法律案件的增多,全球科技巨头面临的紧迫挑战在于:在追求模型性能和商业化速度的同时,如何切实实施并维持有效的保障措施。
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G
人工智能竞赛不会等待,TechCrunch Disrupt 的 25% 折扣也不会等待
目前每一位投身人工智能领域的创始人都在思考同一个问题:我们的发展速度够快吗?效率够高吗?TechCrunch Disrupt 2026 将让您与那些正在最高层面思考这一关乎存亡问题的行业领军人物共聚一堂。 10月13日至15日,在旧金山,来自OpenAI、英伟达(Nvidia)、Anthropic、微软等公司的领军人物将分享他们的见解,届时数千名初创企业社区成员将齐聚一堂,进行交流。限时优惠:结账
“钱文AI免费版”与机构版:揭穿高价写作骗局
6月25日,中央电视台播出了关于混乱的高考志愿填报市场的一则调查报道,引发了广泛的公众讨论。 报道画面显示,许多高中升学中介机构打着“十年教龄教师”和“教授”等头衔的旗号,收取4,980至12,980元不等的天价费用。 实际上,这些所谓的“资深顾问”往往是入职不到两个月的新员工,甚至是兼职的大学生。他们的“专业方案”都是通过免费的Qwen AI生成的,有些机构甚至直接将Qwen生成的内容加价转卖给





首页






