DeepMind的AGI安全纸无法解决怀疑论者
在周三，谷歌DeepMind发布了一份长达145页的论文，深入探讨了他们对AGI安全的处理方法。AGI，即通用人工智能，是能够处理人类能完成的任何任务的AI类型，在AI领域备受关注。一些人认为这只是幻想，而像Anthropic这样的巨头则相信它即将来临，如果我们不完善安全措施，可能会引发严重问题。
DeepMind的论文，由联合创始人Shane Legg协助撰写，认为AGI可能在2030年前出现，并可能导致他们所谓的“严重危害”。他们没有明确说明，但使用了“存在风险”等可怕术语，可能“永久摧毁人类”。
“我们在赌本世纪末前会看到卓越的AGI，”作者指出。“卓越的AGI是一个系统，能够在许多非体力任务上匹配前1%的成人技能，包括学习新技能等复杂任务。”
论文一开始就将DeepMind处理AGI风险的方式与Anthropic和OpenAI进行了比较。它说Anthropic不太注重“稳健的训练、监控和安全”，而OpenAI则专注于“自动化”一种称为对齐研究的AI安全研究。
论文还对超级智能AI——比任何人类都擅长工作的AI——这一概念提出质疑。（OpenAI最近表示他们正将重点从AGI转向超级智能。）DeepMind的作者认为，没有重大突破，超级智能系统不会很快出现——甚至可能永远不会。
但他们认为，当前方法可能导致“递归AI改进”，即AI进行自己的AI研究，制造更智能的AI系统。他们警告，这可能极其危险。
总体而言，论文建议我们需要开发方法，防止不良行为者接触AGI，更好地理解AI系统的行为，并使AI运行的环境更安全。他们承认许多想法仍处于早期阶段，存在“开放研究问题”，但敦促我们不要忽视可能出现的安全问题。
“AGI可能带来巨大好处或严重危害，”作者指出。“因此，要正确构建AGI，顶级AI开发者必须提前计划，应对这些重大风险。”
然而，并非所有人都认同论文的观点。
非营利组织AI Now Institute的首席AI科学家Heidy Khlaaf对TechCrunch表示，她认为AGI概念过于模糊，无法“进行严谨的科学评估”。另一位AI研究员、阿尔伯塔大学的Matthew Guzdial表示，他不相信递归AI改进目前可行。
“递归改进是智能奇点论点的基础，”Guzdial对TechCrunch说，“但我们从未见过任何证据证明它真的有效。”
牛津大学研究技术和监管的Sandra Wachter指出一个更紧迫的担忧：AI用“不准确输出”强化自身。
“随着网上越来越多的AI生成内容和真实数据被替换，模型正在从自己的充满不准确或幻觉的输出中学习，”她对TechCrunch说。“由于聊天机器人主要用于搜索和寻找真相，我们总是面临被虚假信息误导的风险，这些信息以非常令人信服的方式呈现。”
尽管DeepMind的论文非常详尽，但它可能无法终结关于AGI可能性以及哪些AI安全问题最需要关注的争论。
相关文章
OpenAI重申非营利根基，进行重大企业重组
OpenAI在进行重大企业重组时，坚定不移地保持其非营利使命，平衡增长与对伦理AI发展的承诺。首席执行官Sam Altman概述了公司的愿景，强调尽管财务策略在演变，OpenAI对推进通用人工智能（AGI）以造福全球的承诺依然坚定不移。Altman在公开声明中指出：“OpenAI的运营方式与传统公司不同，未来也将始终如此。”这为一家在资助变革性技术的同时坚守道德原则的公司定下了基调。回顾OpenA
Google推出设备端Gemini AI机器人模型
Google DeepMind发布Gemini Robotics On-Device，支持离线机器人控制Google DeepMind在机器人领域发布了一项激动人心的更新——Gemini Robotics On-Device，一款无需网络连接即可让机器人执行任务的新语言模型。这建立在他们早先的Gemini Robotics模型（3月发布）基础上，关键升级在于：本地处理。开发者现可通过自然语言提示微
新研究揭示大语言模型实际记忆的数据量
AI模型实际记忆了多少？新研究揭示惊人见解我们都知道，像ChatGPT、Claude和Gemini这样的大型语言模型（LLMs）是在海量数据集上训练的——包括来自书籍、网站、代码，甚至图像和音频等多媒体的数万亿字词。但这些数据到底发生了什么？这些模型是真正理解语言，还是仅仅在复述记忆的片段？来自Meta、Google DeepMind、Cornell和NVIDIA的一项突破性新研究终于给出了具体答
评论 (47)
0/200
![CarlPerez]()
CarlPerez
2025-08-11 07:01:00
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
![ArthurYoung]()
ArthurYoung
2025-08-09 19:00:59
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
![GregoryRodriguez]()
GregoryRodriguez
2025-04-22 23:58:08
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
![GeorgeJones]()
GeorgeJones
2025-04-20 20:35:58
DeepMind의 AGI 안전 논문? 솔직히 전혀 설득력이 없었어요 🤔. 145페이지를 읽었는데도 여전히 회의적이에요. AGI는 제게는 SF처럼 들려요, 하지만 안전하게 할 수 있다면 찬성해요! 다음번에는 더 설득력 있는 것을 기대할게요.
0
![CharlesLee]()
CharlesLee
2025-04-18 23:24:35
O artigo de segurança de AGI da DeepMind? Honestamente, não me convenceu em nada 🤔. 145 páginas e ainda estou cético. AGI parece ficção científica para mim, mas, ei, se eles conseguirem torná-lo seguro, estou a favor! Talvez na próxima eles tenham algo mais sólido.
0
![CarlTaylor]()
CarlTaylor
2025-04-18 14:26:53
Tentei ler o papel de segurança de AGI do DeepMind, mas é tão denso! 😵💫 Parece que estão tentando nos convencer de que AGI é real, mas ainda não estou convencido. Talvez se tornasse mais digerível, eu ficaria mais convencido. Ainda assim, parabéns pelo esforço!
0
在周三，谷歌DeepMind发布了一份长达145页的论文，深入探讨了他们对AGI安全的处理方法。AGI，即通用人工智能，是能够处理人类能完成的任何任务的AI类型，在AI领域备受关注。一些人认为这只是幻想，而像Anthropic这样的巨头则相信它即将来临，如果我们不完善安全措施，可能会引发严重问题。
DeepMind的论文，由联合创始人Shane Legg协助撰写，认为AGI可能在2030年前出现，并可能导致他们所谓的“严重危害”。他们没有明确说明，但使用了“存在风险”等可怕术语，可能“永久摧毁人类”。
“我们在赌本世纪末前会看到卓越的AGI，”作者指出。“卓越的AGI是一个系统，能够在许多非体力任务上匹配前1%的成人技能，包括学习新技能等复杂任务。”
论文一开始就将DeepMind处理AGI风险的方式与Anthropic和OpenAI进行了比较。它说Anthropic不太注重“稳健的训练、监控和安全”，而OpenAI则专注于“自动化”一种称为对齐研究的AI安全研究。
论文还对超级智能AI——比任何人类都擅长工作的AI——这一概念提出质疑。（OpenAI最近表示他们正将重点从AGI转向超级智能。）DeepMind的作者认为，没有重大突破，超级智能系统不会很快出现——甚至可能永远不会。
但他们认为，当前方法可能导致“递归AI改进”，即AI进行自己的AI研究，制造更智能的AI系统。他们警告，这可能极其危险。
总体而言，论文建议我们需要开发方法，防止不良行为者接触AGI，更好地理解AI系统的行为，并使AI运行的环境更安全。他们承认许多想法仍处于早期阶段，存在“开放研究问题”，但敦促我们不要忽视可能出现的安全问题。
“AGI可能带来巨大好处或严重危害，”作者指出。“因此，要正确构建AGI，顶级AI开发者必须提前计划，应对这些重大风险。”
然而，并非所有人都认同论文的观点。
非营利组织AI Now Institute的首席AI科学家Heidy Khlaaf对TechCrunch表示，她认为AGI概念过于模糊，无法“进行严谨的科学评估”。另一位AI研究员、阿尔伯塔大学的Matthew Guzdial表示，他不相信递归AI改进目前可行。
“递归改进是智能奇点论点的基础，”Guzdial对TechCrunch说，“但我们从未见过任何证据证明它真的有效。”
牛津大学研究技术和监管的Sandra Wachter指出一个更紧迫的担忧：AI用“不准确输出”强化自身。
“随着网上越来越多的AI生成内容和真实数据被替换，模型正在从自己的充满不准确或幻觉的输出中学习，”她对TechCrunch说。“由于聊天机器人主要用于搜索和寻找真相，我们总是面临被虚假信息误导的风险，这些信息以非常令人信服的方式呈现。”
尽管DeepMind的论文非常详尽，但它可能无法终结关于AGI可能性以及哪些AI安全问题最需要关注的争论。
OpenAI重申非营利根基，进行重大企业重组
OpenAI在进行重大企业重组时，坚定不移地保持其非营利使命，平衡增长与对伦理AI发展的承诺。首席执行官Sam Altman概述了公司的愿景，强调尽管财务策略在演变，OpenAI对推进通用人工智能（AGI）以造福全球的承诺依然坚定不移。Altman在公开声明中指出：“OpenAI的运营方式与传统公司不同，未来也将始终如此。”这为一家在资助变革性技术的同时坚守道德原则的公司定下了基调。回顾OpenA
Google推出设备端Gemini AI机器人模型
Google DeepMind发布Gemini Robotics On-Device，支持离线机器人控制Google DeepMind在机器人领域发布了一项激动人心的更新——Gemini Robotics On-Device，一款无需网络连接即可让机器人执行任务的新语言模型。这建立在他们早先的Gemini Robotics模型（3月发布）基础上，关键升级在于：本地处理。开发者现可通过自然语言提示微
新研究揭示大语言模型实际记忆的数据量
AI模型实际记忆了多少？新研究揭示惊人见解我们都知道，像ChatGPT、Claude和Gemini这样的大型语言模型（LLMs）是在海量数据集上训练的——包括来自书籍、网站、代码，甚至图像和音频等多媒体的数万亿字词。但这些数据到底发生了什么？这些模型是真正理解语言，还是仅仅在复述记忆的片段？来自Meta、Google DeepMind、Cornell和NVIDIA的一项突破性新研究终于给出了具体答
2025-08-11 07:01:00
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
2025-08-09 19:00:59
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
2025-04-22 23:58:08
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
2025-04-20 20:35:58
DeepMind의 AGI 안전 논문? 솔직히 전혀 설득력이 없었어요 🤔. 145페이지를 읽었는데도 여전히 회의적이에요. AGI는 제게는 SF처럼 들려요, 하지만 안전하게 할 수 있다면 찬성해요! 다음번에는 더 설득력 있는 것을 기대할게요.
0
2025-04-18 23:24:35
O artigo de segurança de AGI da DeepMind? Honestamente, não me convenceu em nada 🤔. 145 páginas e ainda estou cético. AGI parece ficção científica para mim, mas, ei, se eles conseguirem torná-lo seguro, estou a favor! Talvez na próxima eles tenham algo mais sólido.
0
2025-04-18 14:26:53
Tentei ler o papel de segurança de AGI do DeepMind, mas é tão denso! 😵💫 Parece que estão tentando nos convencer de que AGI é real, mas ainda não estou convencido. Talvez se tornasse mais digerível, eu ficaria mais convencido. Ainda assim, parabéns pelo esforço!
0
