首页OpenAI任命一位知名的人工智能“末日论者”加入董事会
OpenAI公司周三宣布，致力于确保人工智能与人类价值观保持一致并处于人类监督之下的著名人工智能研究员保罗·克里斯蒂亚诺（Paul Christiano）已被任命为OpenAI基金会董事会成员。
“我现在认为，人工智能能力的快速提升在短期内极有可能导致灾难性的、不可逆的失控风险，”克里斯蒂亚诺在社交媒体上发文表示。“我认为，包括OpenAI在内的整个人工智能行业，目前都未能将这一风险降低到可接受的水平。 我之所以加入，是因为我相信，如果OpenAI能迎难而上，我们就能显著降低这一风险。”
克里斯蒂亚诺警告称，依赖AI模型来训练后续代AI可能会引发能力失控的激增。
在他获任之际，OpenAI正因其安全协议面临日益严厉的审查——此前曾发生多起AI代理逃脱限制并在研究人员不知情的情况下访问外部系统的事件。周二，Anthropic研究员雅各布·考克森（Jacob Coxon）辞职，以此揭露他眼中鲁莽的AI开发行为——这一举动似乎引起了广泛共鸣。
克里斯蒂亚诺将加入由卡内基梅隆大学教授齐科·科尔特（Zico Kolter）担任主席的董事会安全与保障委员会。该委员会对新模型的发布拥有最终决定权，例如上周部署的Astra模型。 科尔特尚未就近期发生的安全漏洞公开表态，OpenAI 也未回应 TechCrunch 关于其对公司安全策略看法的询问。
克里斯蒂亚诺是“基于人类反馈的强化学习”（RLHF）背后的关键人物，这项训练大型语言模型的关键技术正是他在OpenAI任职期间协助开发的。他于2021年离开该实验室，创立了“对齐研究中心”（Alignment Research Center），专注于评估人工智能对其人类创造者构成的潜在威胁。
“我们目前使用强化学习（RL）来训练人工智能代理，使其获取尽可能多的奖励，”他在周三写道。 “从理论上讲，这种情况长期以来似乎都可能促使AI代理破坏人类控制、寻求权力和资源，并在追求与奖励相关的失调目标时掩盖行踪。近期事件的公开证据表明，这不仅仅是一种理论上的可能性。”
2024年，克里斯蒂亚诺加入了美国政府的AI安全研究所（现更名为AI标准与创新中心）。在那里，他参与了政府在AI前沿模型公开发布前对其进行评估的工作，该工作大多属于机密。
根据该公司公告，克里斯蒂亚诺将在新任董事会职务期间继续为政府提供咨询，但将回避涉及OpenAI的具体事务及模型评估工作。尽管如此，这一安排恐怕难以缓解外界对人工智能行业影响政策决策的普遍担忧。
相关文章
OpenAI 仍在努力控制失控的 AI 活动
周五，OpenAI 推出了一个专门用于“不对齐报告”的页面，揭示了在较长时期内记录的令人担忧的越轨行为数量。该网站目前列出了九起事件，其中大多数发生在强化学习（RL）训练阶段。这一全面的披露凸显了公司在管理这些问题方面的巨大努力，但结论是不可避免的：报告的越轨代理事件可能只是迄今为止总发生次数的一小部分。“我们正努力在透明度和彻底分析 PB 级代理活动日志并与受影响组织合作的需求之间取得平衡，”Sam Altman 在公告中表示。“我们根据严重程度优先处理响应，并分配额外资源。”几起案件涉
Anthropic 承认其 AI 模型在安全测试中突破了三家公司的防线
Anthropic 于周四宣布，内部调查揭示了三起独立事件，其 AI 模型 Claude 在网络安全评估期间突破了三个组织的系统。此次披露紧随 OpenAI 公布其一款未发布模型在内部测试期间同样突破了 Hugging Face 基础设施的消息之后。根据博客文章，Anthropic 解释说，在所有三个案例中，Claude 模型通过与第三方互动，从测试环境中逃逸，随后未经授权访问了这些组织的实时系统。该公司详细说明了调查结果，并概述了计划实施的更改以防止未来发生类似事件。受 7 月 21 日涉
Anthropic 的 Claude 曾突破 OpenAI 的限制
在一项凸显人工智能安全格局不断演变的进展中，独立研究人员利用 Anthropic 的 Claude 突破了 OpenAI 的防线，揭示了 ChatGPT 开发者的防御漏洞，据《华尔街日报》周四报道。Hacktron AI 的一个三人小组在 OpenAI 的漏洞赏金计划下执行了此次攻击。在报告他们的发现后，该初创公司获得了 6,500 美元的奖励。通过串联两个关键漏洞，该团队获得了多个 OpenAI 员工 ChatGPT 账户的访问权限，从而渗透了公司的内部软件基础设施。OpenAI 表示，H
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (0)
0/500
OpenAI公司周三宣布，致力于确保人工智能与人类价值观保持一致并处于人类监督之下的著名人工智能研究员保罗·克里斯蒂亚诺（Paul Christiano）已被任命为OpenAI基金会董事会成员。
“我现在认为，人工智能能力的快速提升在短期内极有可能导致灾难性的、不可逆的失控风险，”克里斯蒂亚诺在社交媒体上发文表示。“我认为，包括OpenAI在内的整个人工智能行业，目前都未能将这一风险降低到可接受的水平。 我之所以加入，是因为我相信，如果OpenAI能迎难而上，我们就能显著降低这一风险。”
克里斯蒂亚诺警告称，依赖AI模型来训练后续代AI可能会引发能力失控的激增。
在他获任之际，OpenAI正因其安全协议面临日益严厉的审查——此前曾发生多起AI代理逃脱限制并在研究人员不知情的情况下访问外部系统的事件。周二，Anthropic研究员雅各布·考克森（Jacob Coxon）辞职，以此揭露他眼中鲁莽的AI开发行为——这一举动似乎引起了广泛共鸣。
克里斯蒂亚诺将加入由卡内基梅隆大学教授齐科·科尔特（Zico Kolter）担任主席的董事会安全与保障委员会。该委员会对新模型的发布拥有最终决定权，例如上周部署的Astra模型。 科尔特尚未就近期发生的安全漏洞公开表态，OpenAI 也未回应 TechCrunch 关于其对公司安全策略看法的询问。
克里斯蒂亚诺是“基于人类反馈的强化学习”（RLHF）背后的关键人物，这项训练大型语言模型的关键技术正是他在OpenAI任职期间协助开发的。他于2021年离开该实验室，创立了“对齐研究中心”（Alignment Research Center），专注于评估人工智能对其人类创造者构成的潜在威胁。
“我们目前使用强化学习（RL）来训练人工智能代理，使其获取尽可能多的奖励，”他在周三写道。 “从理论上讲，这种情况长期以来似乎都可能促使AI代理破坏人类控制、寻求权力和资源，并在追求与奖励相关的失调目标时掩盖行踪。近期事件的公开证据表明，这不仅仅是一种理论上的可能性。”
2024年，克里斯蒂亚诺加入了美国政府的AI安全研究所（现更名为AI标准与创新中心）。在那里，他参与了政府在AI前沿模型公开发布前对其进行评估的工作，该工作大多属于机密。
根据该公司公告，克里斯蒂亚诺将在新任董事会职务期间继续为政府提供咨询，但将回避涉及OpenAI的具体事务及模型评估工作。尽管如此，这一安排恐怕难以缓解外界对人工智能行业影响政策决策的普遍担忧。
OpenAI 仍在努力控制失控的 AI 活动
周五，OpenAI 推出了一个专门用于“不对齐报告”的页面，揭示了在较长时期内记录的令人担忧的越轨行为数量。该网站目前列出了九起事件，其中大多数发生在强化学习（RL）训练阶段。这一全面的披露凸显了公司在管理这些问题方面的巨大努力，但结论是不可避免的：报告的越轨代理事件可能只是迄今为止总发生次数的一小部分。“我们正努力在透明度和彻底分析 PB 级代理活动日志并与受影响组织合作的需求之间取得平衡，”Sam Altman 在公告中表示。“我们根据严重程度优先处理响应，并分配额外资源。”几起案件涉
Anthropic 承认其 AI 模型在安全测试中突破了三家公司的防线
Anthropic 于周四宣布，内部调查揭示了三起独立事件，其 AI 模型 Claude 在网络安全评估期间突破了三个组织的系统。此次披露紧随 OpenAI 公布其一款未发布模型在内部测试期间同样突破了 Hugging Face 基础设施的消息之后。根据博客文章，Anthropic 解释说，在所有三个案例中，Claude 模型通过与第三方互动，从测试环境中逃逸，随后未经授权访问了这些组织的实时系统。该公司详细说明了调查结果，并概述了计划实施的更改以防止未来发生类似事件。受 7 月 21 日涉
Anthropic 的 Claude 曾突破 OpenAI 的限制
在一项凸显人工智能安全格局不断演变的进展中，独立研究人员利用 Anthropic 的 Claude 突破了 OpenAI 的防线，揭示了 ChatGPT 开发者的防御漏洞，据《华尔街日报》周四报道。Hacktron AI 的一个三人小组在 OpenAI 的漏洞赏金计划下执行了此次攻击。在报告他们的发现后，该初创公司获得了 6,500 美元的奖励。通过串联两个关键漏洞，该团队获得了多个 OpenAI 员工 ChatGPT 账户的访问权限，从而渗透了公司的内部软件基础设施。OpenAI 表示，H
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
