DeepMind的AGI安全纸无法解决怀疑论者
在周三，谷歌DeepMind发布了一份长达145页的论文，深入探讨了他们对AGI安全的处理方法。AGI，即通用人工智能，是能够处理人类能完成的任何任务的AI类型，在AI领域备受关注。一些人认为这只是幻想，而像Anthropic这样的巨头则相信它即将来临，如果我们不完善安全措施，可能会引发严重问题。
DeepMind的论文，由联合创始人Shane Legg协助撰写，认为AGI可能在2030年前出现，并可能导致他们所谓的“严重危害”。他们没有明确说明，但使用了“存在风险”等可怕术语，可能“永久摧毁人类”。
“我们在赌本世纪末前会看到卓越的AGI，”作者指出。“卓越的AGI是一个系统，能够在许多非体力任务上匹配前1%的成人技能，包括学习新技能等复杂任务。”
论文一开始就将DeepMind处理AGI风险的方式与Anthropic和OpenAI进行了比较。它说Anthropic不太注重“稳健的训练、监控和安全”，而OpenAI则专注于“自动化”一种称为对齐研究的AI安全研究。
论文还对超级智能AI——比任何人类都擅长工作的AI——这一概念提出质疑。（OpenAI最近表示他们正将重点从AGI转向超级智能。）DeepMind的作者认为，没有重大突破，超级智能系统不会很快出现——甚至可能永远不会。
但他们认为，当前方法可能导致“递归AI改进”，即AI进行自己的AI研究，制造更智能的AI系统。他们警告，这可能极其危险。
总体而言，论文建议我们需要开发方法，防止不良行为者接触AGI，更好地理解AI系统的行为，并使AI运行的环境更安全。他们承认许多想法仍处于早期阶段，存在“开放研究问题”，但敦促我们不要忽视可能出现的安全问题。
“AGI可能带来巨大好处或严重危害，”作者指出。“因此，要正确构建AGI，顶级AI开发者必须提前计划，应对这些重大风险。”
然而，并非所有人都认同论文的观点。
非营利组织AI Now Institute的首席AI科学家Heidy Khlaaf对TechCrunch表示，她认为AGI概念过于模糊，无法“进行严谨的科学评估”。另一位AI研究员、阿尔伯塔大学的Matthew Guzdial表示，他不相信递归AI改进目前可行。
“递归改进是智能奇点论点的基础，”Guzdial对TechCrunch说，“但我们从未见过任何证据证明它真的有效。”
牛津大学研究技术和监管的Sandra Wachter指出一个更紧迫的担忧：AI用“不准确输出”强化自身。
“随着网上越来越多的AI生成内容和真实数据被替换，模型正在从自己的充满不准确或幻觉的输出中学习，”她对TechCrunch说。“由于聊天机器人主要用于搜索和寻找真相，我们总是面临被虚假信息误导的风险，这些信息以非常令人信服的方式呈现。”
尽管DeepMind的论文非常详尽，但它可能无法终结关于AGI可能性以及哪些AI安全问题最需要关注的争论。
相关文章
人工智能将通过突破性的通用语言革新人类思维
人工通用智能（Artificial General Intelligence）的出现为通过创建通用语言框架重塑人类交流带来了变革性的潜力。与为专门任务而设计的狭隘的人工智能系统不同，人工智能拥有类似人类的跨领域学习能力，使其能够分析语言模式、文化背景和认知过程。这种独特的组合可以形成一个统一的通信系统，弥合文化鸿沟，同时增强人类认知本身。了解 AGI 的语言能力人工通用智能代表着特定任务人工
OpenAI重申非营利根基，进行重大企业重组
OpenAI在进行重大企业重组时，坚定不移地保持其非营利使命，平衡增长与对伦理AI发展的承诺。首席执行官Sam Altman概述了公司的愿景，强调尽管财务策略在演变，OpenAI对推进通用人工智能（AGI）以造福全球的承诺依然坚定不移。Altman在公开声明中指出：“OpenAI的运营方式与传统公司不同，未来也将始终如此。”这为一家在资助变革性技术的同时坚守道德原则的公司定下了基调。回顾OpenA
Google推出设备端Gemini AI机器人模型
Google DeepMind发布Gemini Robotics On-Device，支持离线机器人控制Google DeepMind在机器人领域发布了一项激动人心的更新——Gemini Robotics On-Device，一款无需网络连接即可让机器人执行任务的新语言模型。这建立在他们早先的Gemini Robotics模型（3月发布）基础上，关键升级在于：本地处理。开发者现可通过自然语言提示微
评论 (49)
0/200
![DouglasMitchell]()
DouglasMitchell
2025-09-04 14:30:32
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
0
![DanielPerez]()
DanielPerez
2025-08-28 07:01:33
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
0
![CarlPerez]()
CarlPerez
2025-08-11 07:01:00
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
![ArthurYoung]()
ArthurYoung
2025-08-09 19:00:59
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
![GregoryRodriguez]()
GregoryRodriguez
2025-04-22 23:58:08
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
![GeorgeJones]()
GeorgeJones
2025-04-20 20:35:58
DeepMind의 AGI 안전 논문? 솔직히 전혀 설득력이 없었어요 🤔. 145페이지를 읽었는데도 여전히 회의적이에요. AGI는 제게는 SF처럼 들려요, 하지만 안전하게 할 수 있다면 찬성해요! 다음번에는 더 설득력 있는 것을 기대할게요.
0
在周三，谷歌DeepMind发布了一份长达145页的论文，深入探讨了他们对AGI安全的处理方法。AGI，即通用人工智能，是能够处理人类能完成的任何任务的AI类型，在AI领域备受关注。一些人认为这只是幻想，而像Anthropic这样的巨头则相信它即将来临，如果我们不完善安全措施，可能会引发严重问题。
DeepMind的论文，由联合创始人Shane Legg协助撰写，认为AGI可能在2030年前出现，并可能导致他们所谓的“严重危害”。他们没有明确说明，但使用了“存在风险”等可怕术语，可能“永久摧毁人类”。
“我们在赌本世纪末前会看到卓越的AGI，”作者指出。“卓越的AGI是一个系统，能够在许多非体力任务上匹配前1%的成人技能，包括学习新技能等复杂任务。”
论文一开始就将DeepMind处理AGI风险的方式与Anthropic和OpenAI进行了比较。它说Anthropic不太注重“稳健的训练、监控和安全”，而OpenAI则专注于“自动化”一种称为对齐研究的AI安全研究。
论文还对超级智能AI——比任何人类都擅长工作的AI——这一概念提出质疑。（OpenAI最近表示他们正将重点从AGI转向超级智能。）DeepMind的作者认为，没有重大突破，超级智能系统不会很快出现——甚至可能永远不会。
但他们认为，当前方法可能导致“递归AI改进”，即AI进行自己的AI研究，制造更智能的AI系统。他们警告，这可能极其危险。
总体而言，论文建议我们需要开发方法，防止不良行为者接触AGI，更好地理解AI系统的行为，并使AI运行的环境更安全。他们承认许多想法仍处于早期阶段，存在“开放研究问题”，但敦促我们不要忽视可能出现的安全问题。
“AGI可能带来巨大好处或严重危害，”作者指出。“因此，要正确构建AGI，顶级AI开发者必须提前计划，应对这些重大风险。”
然而，并非所有人都认同论文的观点。
非营利组织AI Now Institute的首席AI科学家Heidy Khlaaf对TechCrunch表示，她认为AGI概念过于模糊，无法“进行严谨的科学评估”。另一位AI研究员、阿尔伯塔大学的Matthew Guzdial表示，他不相信递归AI改进目前可行。
“递归改进是智能奇点论点的基础，”Guzdial对TechCrunch说，“但我们从未见过任何证据证明它真的有效。”
牛津大学研究技术和监管的Sandra Wachter指出一个更紧迫的担忧：AI用“不准确输出”强化自身。
“随着网上越来越多的AI生成内容和真实数据被替换，模型正在从自己的充满不准确或幻觉的输出中学习，”她对TechCrunch说。“由于聊天机器人主要用于搜索和寻找真相，我们总是面临被虚假信息误导的风险，这些信息以非常令人信服的方式呈现。”
尽管DeepMind的论文非常详尽，但它可能无法终结关于AGI可能性以及哪些AI安全问题最需要关注的争论。
人工智能将通过突破性的通用语言革新人类思维
人工通用智能（Artificial General Intelligence）的出现为通过创建通用语言框架重塑人类交流带来了变革性的潜力。与为专门任务而设计的狭隘的人工智能系统不同，人工智能拥有类似人类的跨领域学习能力，使其能够分析语言模式、文化背景和认知过程。这种独特的组合可以形成一个统一的通信系统，弥合文化鸿沟，同时增强人类认知本身。了解 AGI 的语言能力人工通用智能代表着特定任务人工
OpenAI重申非营利根基，进行重大企业重组
OpenAI在进行重大企业重组时，坚定不移地保持其非营利使命，平衡增长与对伦理AI发展的承诺。首席执行官Sam Altman概述了公司的愿景，强调尽管财务策略在演变，OpenAI对推进通用人工智能（AGI）以造福全球的承诺依然坚定不移。Altman在公开声明中指出：“OpenAI的运营方式与传统公司不同，未来也将始终如此。”这为一家在资助变革性技术的同时坚守道德原则的公司定下了基调。回顾OpenA
Google推出设备端Gemini AI机器人模型
Google DeepMind发布Gemini Robotics On-Device，支持离线机器人控制Google DeepMind在机器人领域发布了一项激动人心的更新——Gemini Robotics On-Device，一款无需网络连接即可让机器人执行任务的新语言模型。这建立在他们早先的Gemini Robotics模型（3月发布）基础上，关键升级在于：本地处理。开发者现可通过自然语言提示微
2025-09-04 14:30:32
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
0
2025-08-28 07:01:33
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
0
2025-08-11 07:01:00
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
2025-08-09 19:00:59
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
2025-04-22 23:58:08
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
2025-04-20 20:35:58
DeepMind의 AGI 안전 논문? 솔직히 전혀 설득력이 없었어요 🤔. 145페이지를 읽었는데도 여전히 회의적이에요. AGI는 제게는 SF처럼 들려요, 하지만 안전하게 할 수 있다면 찬성해요! 다음번에는 더 설득력 있는 것을 기대할게요.
0
