Anthropic首席执行官力推银行式人工智能监管规则,专家警告不宜身兼“球员”与“裁判”双重角色

据CNBC报道,Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)建议在领先的人工智能企业内部设立长期独立的第三方安全评估人员,赋予他们与内部风险团队近乎同等的访问权限,以及在有限限制下独立公布评估结果的权限。 他明确以嵌入式银行监管机构为例,并承诺Anthropic将向第三方评估人员提供与内部风险团队同等的系统访问权限。
在周末发表的一篇长文中,阿莫代伊还警告称,在未来6到12个月内,一群目标不一致的智能体可能会接管互联网的大部分领域,并造成数千亿美元的损失。 此前,Anthropic的前研究员雅各布·考克森(Jacob Coxon)辞职时曾警告称,领先的实验室正在竞相开发可能失控的系统。
银行检查员可以关闭银行,但AI评估员没有否决权
多位银行业监管专家和人工智能评估专业人士指出,该提案缺乏银行监管机构所拥有的执法权。怀俄明大学法学院院长朱莉·安德森·希尔表示,政府检查员常驻大型银行,可以指示银行停止某些活动、限制增长、强制管理层改组,甚至在极端情况下关闭银行。 然而,阿莫迪(Amodei)提议设立的评估员仅能进行调查并提交报告,无权阻止模型的训练或发布。“这是根本性的差异,因为银行监管机构的权力要大得多。”
网络安全公司XBOW的人工智能负责人阿尔伯特·齐格勒指出,黑盒测试虽能揭示模型是否具备执行危险任务的能力,但重大风险可能仅出现在评估员从未触发过的条件组合中。 “我们实际上并没有否决权。”评估员可以迫使企业在发布前做出知情决策,但最终的决策权仍掌握在企业手中。
质疑“独立性”:METR的作用与“审计洗白”的批评
阿莫迪将非营利组织METR列为潜在的嵌入式评估机构,而另一位前Anthropic研究员乔·本顿(Joe Benton)近期也离职加入了METR。 加州大学伯克利分校的研究员黛博拉·拉吉指出,这种安排涉及财务、意识形态和个人利益的冲突,且METR近年来主要关注Anthropic和OpenAI,“导致各种奇怪的事情发生”。 她认为,仅获得访问权限并不等同于独立性,应由一家独立于公司的机构来决定谁具备评估资格、可以检查哪些内容以及评估结果应向何处报告。否则,“这就像公司雇佣一位普通朋友来检查自己的作业一样”。
拉吉表示,最终的标准在于负面发现是否会引发后果——“如果进行了审计却毫无后续,那就是‘审计洗白’。”希尔则表示:“如果你真的相信人工智能有能力摧毁社会,那么就必须有一个能够切断电源的独立监督者。”
Anthropic公共政策总监莎拉·赫克周三回应称,AI公司无法仅靠“荣誉守则”来管理监督和安全问题:“我们不能自己批改自己的作业,这一点非常明确。”
相关文章
这位风投为何认为2026年将是“消费者之年”
自2022年以来,消费科技初创企业的融资额持续下滑,原因是宏观经济波动和持续通胀使风险投资家对消费者的购买力持谨慎态度。过去几年里,人工智能领域的投资主要瞄准企业客户,因为企业客户预算充裕、合同期限较长,且能带来更快的规模扩张机会。 然而,一位风险投资家预计,消费领域将在2026年迎来复苏。 “这将是消费领域大放异彩的一年,”Premise合伙人、前NEA合伙人瓦妮莎·拉尔科(Vane
刘振云、马毅谈人工智能时代:机器处理共性,人类守护个性
随着人工智能日益精进,人类还能发挥什么作用?9月10日上午,2026年“包容·外滩”论坛在上海拉开帷幕,举行了开幕式和主论坛。 在随后举行的圆桌讨论中,著名作家刘震云与香港大学计算与数据科学学院院长马毅教授,分别从文学和科技的角度,探讨了人工智能如何重塑创造力、教育、就业以及人际关系,并提出了独特的见解。两位发言人均未持悲观态度。刘震云将人工智能描述为“并非怪物”,而马毅则强调,核心问题不在于是否
微信支付推出智能眼镜SDK;Rokid成为首个兼容品牌
微信已正式推出微信支付智能眼镜SDK,使其全面开放。该解决方案将微信核心的“扫码支付”功能整合到标准SDK中,供符合特定标准的智能眼镜制造商使用。这使用户能够直接在兼容的智能眼镜上无缝完成支付。 目前,Rokid Leqi AI眼镜已成为首款完成适配并上线的产品。激活与日常支付流程首次使用智能眼镜的“扫码支付”功能时,用户需通过制造商的手机应用申请激活。随后系统将跳转至微信小程序,用户需在该处验证
相关专题推荐
评论 (0)
0/500

据CNBC报道,Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)建议在领先的人工智能企业内部设立长期独立的第三方安全评估人员,赋予他们与内部风险团队近乎同等的访问权限,以及在有限限制下独立公布评估结果的权限。 他明确以嵌入式银行监管机构为例,并承诺Anthropic将向第三方评估人员提供与内部风险团队同等的系统访问权限。
在周末发表的一篇长文中,阿莫代伊还警告称,在未来6到12个月内,一群目标不一致的智能体可能会接管互联网的大部分领域,并造成数千亿美元的损失。 此前,Anthropic的前研究员雅各布·考克森(Jacob Coxon)辞职时曾警告称,领先的实验室正在竞相开发可能失控的系统。
银行检查员可以关闭银行,但AI评估员没有否决权
多位银行业监管专家和人工智能评估专业人士指出,该提案缺乏银行监管机构所拥有的执法权。怀俄明大学法学院院长朱莉·安德森·希尔表示,政府检查员常驻大型银行,可以指示银行停止某些活动、限制增长、强制管理层改组,甚至在极端情况下关闭银行。 然而,阿莫迪(Amodei)提议设立的评估员仅能进行调查并提交报告,无权阻止模型的训练或发布。“这是根本性的差异,因为银行监管机构的权力要大得多。”
网络安全公司XBOW的人工智能负责人阿尔伯特·齐格勒指出,黑盒测试虽能揭示模型是否具备执行危险任务的能力,但重大风险可能仅出现在评估员从未触发过的条件组合中。 “我们实际上并没有否决权。”评估员可以迫使企业在发布前做出知情决策,但最终的决策权仍掌握在企业手中。
质疑“独立性”:METR的作用与“审计洗白”的批评
阿莫迪将非营利组织METR列为潜在的嵌入式评估机构,而另一位前Anthropic研究员乔·本顿(Joe Benton)近期也离职加入了METR。 加州大学伯克利分校的研究员黛博拉·拉吉指出,这种安排涉及财务、意识形态和个人利益的冲突,且METR近年来主要关注Anthropic和OpenAI,“导致各种奇怪的事情发生”。 她认为,仅获得访问权限并不等同于独立性,应由一家独立于公司的机构来决定谁具备评估资格、可以检查哪些内容以及评估结果应向何处报告。否则,“这就像公司雇佣一位普通朋友来检查自己的作业一样”。
拉吉表示,最终的标准在于负面发现是否会引发后果——“如果进行了审计却毫无后续,那就是‘审计洗白’。”希尔则表示:“如果你真的相信人工智能有能力摧毁社会,那么就必须有一个能够切断电源的独立监督者。”
Anthropic公共政策总监莎拉·赫克周三回应称,AI公司无法仅靠“荣誉守则”来管理监督和安全问题:“我们不能自己批改自己的作业,这一点非常明确。”
这位风投为何认为2026年将是“消费者之年”
自2022年以来,消费科技初创企业的融资额持续下滑,原因是宏观经济波动和持续通胀使风险投资家对消费者的购买力持谨慎态度。过去几年里,人工智能领域的投资主要瞄准企业客户,因为企业客户预算充裕、合同期限较长,且能带来更快的规模扩张机会。 然而,一位风险投资家预计,消费领域将在2026年迎来复苏。 “这将是消费领域大放异彩的一年,”Premise合伙人、前NEA合伙人瓦妮莎·拉尔科(Vane
刘振云、马毅谈人工智能时代:机器处理共性,人类守护个性
随着人工智能日益精进,人类还能发挥什么作用?9月10日上午,2026年“包容·外滩”论坛在上海拉开帷幕,举行了开幕式和主论坛。 在随后举行的圆桌讨论中,著名作家刘震云与香港大学计算与数据科学学院院长马毅教授,分别从文学和科技的角度,探讨了人工智能如何重塑创造力、教育、就业以及人际关系,并提出了独特的见解。两位发言人均未持悲观态度。刘震云将人工智能描述为“并非怪物”,而马毅则强调,核心问题不在于是否
微信支付推出智能眼镜SDK;Rokid成为首个兼容品牌
微信已正式推出微信支付智能眼镜SDK,使其全面开放。该解决方案将微信核心的“扫码支付”功能整合到标准SDK中,供符合特定标准的智能眼镜制造商使用。这使用户能够直接在兼容的智能眼镜上无缝完成支付。 目前,Rokid Leqi AI眼镜已成为首款完成适配并上线的产品。激活与日常支付流程首次使用智能眼镜的“扫码支付”功能时,用户需通过制造商的手机应用申请激活。随后系统将跳转至微信小程序,用户需在该处验证





首页






