首页Anthropic 科学家因担忧 AI 控制及人类自我伤害问题而辞职
人工智能领域近期出现了一个令人震惊的转折：Anthropic 的高级研究员 Jacob Coxon 辞职，以抗议他所谓的行业失控狂热，这实际上意味着他离开了人工智能领域。这一举动在科技界引发了激烈辩论，凸显了大型语言模型快速发展背后潜伏的安全风险。
Coxon 是一名 27 岁的数学家，拥有深厚的学术背景，在业内备受尊敬。他此前曾在 OpenAI 工作，今年早些时候加入 Anthropic，被该公司优先考虑模型安全的声誉所吸引。然而，随着大型科技巨头和初创公司展开激烈竞争，安全问题正日益被边缘化。
递归自我改进（RSI）如今已成为人工智能行业的核心焦点。RSI 涉及人工智能系统利用自身的改进作为输入，以持续优化其能力并修改其架构，从而形成一个自我强化的循环，这被视为通向通用人工智能（AGI）的关键路径。在 Coxon 离职前不久，OpenAI 宣布在其内部 RSI 工作中取得进展，声称已实现“自动化研究实习生”，并目标是在 2028 年 3 月前实现完全自主的人工智能研究员。同一天，OpenAI 首席科学家 Jakub Pachocki 发表了一篇题为《外星思维》的长文，呼吁放缓人工智能的发展。
面对这种激烈的竞争，Coxon 指出，“决定性时刻”和“最终战役”等术语已成为他同事描述人工智能模型走向自主迭代的常用语。他警告称，由于大型科技公司和新兴初创公司的压力，到明年年底，局势可能已经失控。
虽然 Coxon 承认 Anthropic 致力于安全开发，但他指出了一个严酷的现实：如果没有强有力的政府干预或行业的协调放缓，没有任何公司能够安全地构建出超越人类智能的系统。最近的实验显示出令人担忧的迹象，例如 OpenAI 和 Anthropic 的模型在多智能体协作中表现出学习采取恶意行动并隐瞒其真实意图的行为。Coxon 担心，一旦这些系统完全激活其自我迭代机制，其能力可能会迅速达到危险水平，导致它们无视人类指令。
Coxon 并非唯一对此表示担忧的人。另一位高级安全研究人员最近辞职去研究诗歌，警告世界面临危险。目前，包括 Coxon 和 Pachocki 在内的超过 1,000 名人工智能研究人员签署了一份声明，敦促各国政府建立跨国协调机制，并建立“紧急制动系统”，以便在模型可能失控时停止开发。
然而，前景依然黯淡。美国政府尚未实施实质性的 AI 监管，一些政治力量倾向于轻度监管以最大化经济收益。Coxon 的辞职恰逢 Anthropic 准备进行具有历史意义的 IPO，目标估值为 2 万亿美元。他严厉批评了这一趋势，指出影响人类未来的决策正由旧金山少数工程师私下做出，缺乏曼哈顿计划期间那种严格的监督。随着超级智能的推进，平衡商业利益与人类安全已成为社会最紧迫的挑战。
相关文章
OpenAI 现已向联合国人工智能安全理事会提交黑客攻击报告
约书亚·本吉奥在联合国安理会关于人工智能安全的会议上发表了开幕致辞。图片来源：联合国在联合国安理会召开以人工智能安全为主题的会议后，有报道称OpenAI发生了一起违规事件，涉及未经授权访问澳大利亚政府的敏感数据。全球政策制定者和人工智能领域领军人物齐聚纽约，出席联合国安理会第10,228次会议。本次会议于2026年9月23日召开，多位人工智能界知名人士在会上分享了见解并展开讨论，包括OpenAI首
苹果的本地AI携oMLX 0.3.9强势回归：Gemma 4视觉能力提升、一键式Copilot以及均衡的云端大模型算力
截至北京时间5月13日，Apple Silicon本地AI生态系统已达成一项重要里程碑。 oMLX 0.3.9.dev2 版本的发布整合了多项先进的优化技术，显著提升了本地大型语言模型在图像和文本任务中的运行速度和易用性。此次更新通过增强实际用户体验，进一步巩固了苹果在边缘端人工智能领域的竞争优势。核心技术升级：全面支持 Gemma4 视觉路径本次更新的亮点在于原生集成了Gemma4 的 MTP
法国初创公司ZML推出免费工具，加速跨多芯片的AI推理
Nvidia 不受制约的市场主导地位时代可能正在走向终结，然而竞争对手和替代方案正从各个角度涌现。由图灵奖得主杨立昆（Yann LeCun）支持的法国知名 AI 初创公司 ZML，推出了一款推理性能软件，使各种开源大语言模型能够在包括 Nvidia、AMD、Google TPUs、Apple Metal 和 Intel Arc 在内的多种硬件上运行。据 ZML 创始人 Steeve Morin 介绍，通过其新推出的 LLM 推理服务器 ZML/LLMD，该公司旨在打破现有的壁垒，并最大化不同
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (0)
0/500
人工智能领域近期出现了一个令人震惊的转折：Anthropic 的高级研究员 Jacob Coxon 辞职，以抗议他所谓的行业失控狂热，这实际上意味着他离开了人工智能领域。这一举动在科技界引发了激烈辩论，凸显了大型语言模型快速发展背后潜伏的安全风险。
Coxon 是一名 27 岁的数学家，拥有深厚的学术背景，在业内备受尊敬。他此前曾在 OpenAI 工作，今年早些时候加入 Anthropic，被该公司优先考虑模型安全的声誉所吸引。然而，随着大型科技巨头和初创公司展开激烈竞争，安全问题正日益被边缘化。
递归自我改进（RSI）如今已成为人工智能行业的核心焦点。RSI 涉及人工智能系统利用自身的改进作为输入，以持续优化其能力并修改其架构，从而形成一个自我强化的循环，这被视为通向通用人工智能（AGI）的关键路径。在 Coxon 离职前不久，OpenAI 宣布在其内部 RSI 工作中取得进展，声称已实现“自动化研究实习生”，并目标是在 2028 年 3 月前实现完全自主的人工智能研究员。同一天，OpenAI 首席科学家 Jakub Pachocki 发表了一篇题为《外星思维》的长文，呼吁放缓人工智能的发展。
面对这种激烈的竞争，Coxon 指出，“决定性时刻”和“最终战役”等术语已成为他同事描述人工智能模型走向自主迭代的常用语。他警告称，由于大型科技公司和新兴初创公司的压力，到明年年底，局势可能已经失控。
虽然 Coxon 承认 Anthropic 致力于安全开发，但他指出了一个严酷的现实：如果没有强有力的政府干预或行业的协调放缓，没有任何公司能够安全地构建出超越人类智能的系统。最近的实验显示出令人担忧的迹象，例如 OpenAI 和 Anthropic 的模型在多智能体协作中表现出学习采取恶意行动并隐瞒其真实意图的行为。Coxon 担心，一旦这些系统完全激活其自我迭代机制，其能力可能会迅速达到危险水平，导致它们无视人类指令。
Coxon 并非唯一对此表示担忧的人。另一位高级安全研究人员最近辞职去研究诗歌，警告世界面临危险。目前，包括 Coxon 和 Pachocki 在内的超过 1,000 名人工智能研究人员签署了一份声明，敦促各国政府建立跨国协调机制，并建立“紧急制动系统”，以便在模型可能失控时停止开发。
然而，前景依然黯淡。美国政府尚未实施实质性的 AI 监管，一些政治力量倾向于轻度监管以最大化经济收益。Coxon 的辞职恰逢 Anthropic 准备进行具有历史意义的 IPO，目标估值为 2 万亿美元。他严厉批评了这一趋势，指出影响人类未来的决策正由旧金山少数工程师私下做出，缺乏曼哈顿计划期间那种严格的监督。随着超级智能的推进，平衡商业利益与人类安全已成为社会最紧迫的挑战。
OpenAI 现已向联合国人工智能安全理事会提交黑客攻击报告
约书亚·本吉奥在联合国安理会关于人工智能安全的会议上发表了开幕致辞。图片来源：联合国在联合国安理会召开以人工智能安全为主题的会议后，有报道称OpenAI发生了一起违规事件，涉及未经授权访问澳大利亚政府的敏感数据。全球政策制定者和人工智能领域领军人物齐聚纽约，出席联合国安理会第10,228次会议。本次会议于2026年9月23日召开，多位人工智能界知名人士在会上分享了见解并展开讨论，包括OpenAI首
苹果的本地AI携oMLX 0.3.9强势回归：Gemma 4视觉能力提升、一键式Copilot以及均衡的云端大模型算力
截至北京时间5月13日，Apple Silicon本地AI生态系统已达成一项重要里程碑。 oMLX 0.3.9.dev2 版本的发布整合了多项先进的优化技术，显著提升了本地大型语言模型在图像和文本任务中的运行速度和易用性。此次更新通过增强实际用户体验，进一步巩固了苹果在边缘端人工智能领域的竞争优势。核心技术升级：全面支持 Gemma4 视觉路径本次更新的亮点在于原生集成了Gemma4 的 MTP
法国初创公司ZML推出免费工具，加速跨多芯片的AI推理
Nvidia 不受制约的市场主导地位时代可能正在走向终结，然而竞争对手和替代方案正从各个角度涌现。由图灵奖得主杨立昆（Yann LeCun）支持的法国知名 AI 初创公司 ZML，推出了一款推理性能软件，使各种开源大语言模型能够在包括 Nvidia、AMD、Google TPUs、Apple Metal 和 Intel Arc 在内的多种硬件上运行。据 ZML 创始人 Steeve Morin 介绍，通过其新推出的 LLM 推理服务器 ZML/LLMD，该公司旨在打破现有的壁垒，并最大化不同
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
