首页DeepMind的AGI安全纸无法解决怀疑论者
在周三，谷歌DeepMind发布了一份长达145页的论文，深入探讨了他们对AGI安全的处理方法。AGI，即通用人工智能，是能够处理人类能完成的任何任务的AI类型，在AI领域备受关注。一些人认为这只是幻想，而像Anthropic这样的巨头则相信它即将来临，如果我们不完善安全措施，可能会引发严重问题。
DeepMind的论文，由联合创始人Shane Legg协助撰写，认为AGI可能在2030年前出现，并可能导致他们所谓的“严重危害”。他们没有明确说明，但使用了“存在风险”等可怕术语，可能“永久摧毁人类”。
“我们在赌本世纪末前会看到卓越的AGI，”作者指出。“卓越的AGI是一个系统，能够在许多非体力任务上匹配前1%的成人技能，包括学习新技能等复杂任务。”
论文一开始就将DeepMind处理AGI风险的方式与Anthropic和OpenAI进行了比较。它说Anthropic不太注重“稳健的训练、监控和安全”，而OpenAI则专注于“自动化”一种称为对齐研究的AI安全研究。
论文还对超级智能AI——比任何人类都擅长工作的AI——这一概念提出质疑。（OpenAI最近表示他们正将重点从AGI转向超级智能。）DeepMind的作者认为，没有重大突破，超级智能系统不会很快出现——甚至可能永远不会。
但他们认为，当前方法可能导致“递归AI改进”，即AI进行自己的AI研究，制造更智能的AI系统。他们警告，这可能极其危险。
总体而言，论文建议我们需要开发方法，防止不良行为者接触AGI，更好地理解AI系统的行为，并使AI运行的环境更安全。他们承认许多想法仍处于早期阶段，存在“开放研究问题”，但敦促我们不要忽视可能出现的安全问题。
“AGI可能带来巨大好处或严重危害，”作者指出。“因此，要正确构建AGI，顶级AI开发者必须提前计划，应对这些重大风险。”
然而，并非所有人都认同论文的观点。
非营利组织AI Now Institute的首席AI科学家Heidy Khlaaf对TechCrunch表示，她认为AGI概念过于模糊，无法“进行严谨的科学评估”。另一位AI研究员、阿尔伯塔大学的Matthew Guzdial表示，他不相信递归AI改进目前可行。
“递归改进是智能奇点论点的基础，”Guzdial对TechCrunch说，“但我们从未见过任何证据证明它真的有效。”
牛津大学研究技术和监管的Sandra Wachter指出一个更紧迫的担忧：AI用“不准确输出”强化自身。
“随着网上越来越多的AI生成内容和真实数据被替换，模型正在从自己的充满不准确或幻觉的输出中学习，”她对TechCrunch说。“由于聊天机器人主要用于搜索和寻找真相，我们总是面临被虚假信息误导的风险，这些信息以非常令人信服的方式呈现。”
尽管DeepMind的论文非常详尽，但它可能无法终结关于AGI可能性以及哪些AI安全问题最需要关注的争论。
相关文章
DeepMind的戴维·西尔弗筹集11亿美元，用于开发无需人类数据即可学习的人工智能
总部位于英国的人工智能初创公司Ineffable Intelligence由前DeepMind研究员大卫·西尔弗（David Silver）于数月前创立，该公司已获得11亿美元融资，估值达51亿美元，旨在凭借创新的人工智能架构挑战大型语言模型。正如其新上线的网站所详细介绍的，Ineffable Intelligence 旨在构建一个“超级学习者”，该系统能够独立于人类数据获取知识和技能，并利用强化
RSI 已成为新的 AGI，同样难以定义
“递归”一词已成为人工智能领域的最新热词。 已有两家各具特色的初创公司将其作为公司名称，还有许多其他公司现在也在其开发计划中提及“递归自我改进”（RSI）。与之前的“通用人工智能”（AGI）类似，RSI已演变为代表人工智能重大突破的三个字母缩写——尽管其确切定义仍存在一些争议。从本质上讲，RSI描述的是一种能够持续自我升级的人工智能系统。一旦这些系统能够比人类更有效地处理改进周期，该过程便会形成一
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际，OpenAI发布了一套政策建议，概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单，这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (52)
0/500
![FrankJackson]()
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
![PaulTaylor]()
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
![JimmyGarcia]()
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
![DouglasMitchell]()
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
![DanielPerez]()
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
![CarlPerez]()
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
在周三，谷歌DeepMind发布了一份长达145页的论文，深入探讨了他们对AGI安全的处理方法。AGI，即通用人工智能，是能够处理人类能完成的任何任务的AI类型，在AI领域备受关注。一些人认为这只是幻想，而像Anthropic这样的巨头则相信它即将来临，如果我们不完善安全措施，可能会引发严重问题。
DeepMind的论文，由联合创始人Shane Legg协助撰写，认为AGI可能在2030年前出现，并可能导致他们所谓的“严重危害”。他们没有明确说明，但使用了“存在风险”等可怕术语，可能“永久摧毁人类”。
“我们在赌本世纪末前会看到卓越的AGI，”作者指出。“卓越的AGI是一个系统，能够在许多非体力任务上匹配前1%的成人技能，包括学习新技能等复杂任务。”
论文一开始就将DeepMind处理AGI风险的方式与Anthropic和OpenAI进行了比较。它说Anthropic不太注重“稳健的训练、监控和安全”，而OpenAI则专注于“自动化”一种称为对齐研究的AI安全研究。
论文还对超级智能AI——比任何人类都擅长工作的AI——这一概念提出质疑。（OpenAI最近表示他们正将重点从AGI转向超级智能。）DeepMind的作者认为，没有重大突破，超级智能系统不会很快出现——甚至可能永远不会。
但他们认为，当前方法可能导致“递归AI改进”，即AI进行自己的AI研究，制造更智能的AI系统。他们警告，这可能极其危险。
总体而言，论文建议我们需要开发方法，防止不良行为者接触AGI，更好地理解AI系统的行为，并使AI运行的环境更安全。他们承认许多想法仍处于早期阶段，存在“开放研究问题”，但敦促我们不要忽视可能出现的安全问题。
“AGI可能带来巨大好处或严重危害，”作者指出。“因此，要正确构建AGI，顶级AI开发者必须提前计划，应对这些重大风险。”
然而，并非所有人都认同论文的观点。
非营利组织AI Now Institute的首席AI科学家Heidy Khlaaf对TechCrunch表示，她认为AGI概念过于模糊，无法“进行严谨的科学评估”。另一位AI研究员、阿尔伯塔大学的Matthew Guzdial表示，他不相信递归AI改进目前可行。
“递归改进是智能奇点论点的基础，”Guzdial对TechCrunch说，“但我们从未见过任何证据证明它真的有效。”
牛津大学研究技术和监管的Sandra Wachter指出一个更紧迫的担忧：AI用“不准确输出”强化自身。
“随着网上越来越多的AI生成内容和真实数据被替换，模型正在从自己的充满不准确或幻觉的输出中学习，”她对TechCrunch说。“由于聊天机器人主要用于搜索和寻找真相，我们总是面临被虚假信息误导的风险，这些信息以非常令人信服的方式呈现。”
尽管DeepMind的论文非常详尽，但它可能无法终结关于AGI可能性以及哪些AI安全问题最需要关注的争论。
DeepMind的戴维·西尔弗筹集11亿美元，用于开发无需人类数据即可学习的人工智能
总部位于英国的人工智能初创公司Ineffable Intelligence由前DeepMind研究员大卫·西尔弗（David Silver）于数月前创立，该公司已获得11亿美元融资，估值达51亿美元，旨在凭借创新的人工智能架构挑战大型语言模型。正如其新上线的网站所详细介绍的，Ineffable Intelligence 旨在构建一个“超级学习者”，该系统能够独立于人类数据获取知识和技能，并利用强化
RSI 已成为新的 AGI，同样难以定义
“递归”一词已成为人工智能领域的最新热词。 已有两家各具特色的初创公司将其作为公司名称，还有许多其他公司现在也在其开发计划中提及“递归自我改进”（RSI）。与之前的“通用人工智能”（AGI）类似，RSI已演变为代表人工智能重大突破的三个字母缩写——尽管其确切定义仍存在一些争议。从本质上讲，RSI描述的是一种能够持续自我升级的人工智能系统。一旦这些系统能够比人类更有效地处理改进周期，该过程便会形成一
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际，OpenAI发布了一套政策建议，概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单，这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
