DeepMind的AGI安全紙無法解決懷疑論者
週三，Google DeepMind 發布了一份厚達145頁的論文，深入探討其對AGI安全的做法。AGI，即人工通用智能，是能執行人類任何任務的AI，在AI領域備受關注。有些人認為這只是幻想，而Anthropic等大廠則認為AGI即將到來，若安全措施不到位，可能引發嚴重問題。
DeepMind的論文由共同創辦人Shane Legg等人撰寫，預測AGI可能於2030年前出現，並可能導致所謂的「嚴重危害」。他們未明確說明，但提及「存在風險」等可怕詞語，可能「永久摧毀人類」。
作者指出：「我們預期在本十年結束前看到卓越AGI。」「卓越AGI是指在多項非物理任務上能媲美前1%成人技能的系統，包括學習新技能等棘手任務。」
論文開篇比較了DeepMind、Anthropic和OpenAI處理AGI風險的方式，稱Anthropic不夠重視「穩健訓練、監控和安全」，而OpenAI則專注於「自動化」一種稱為對齊研究的AI安全研究。
論文還對超智能AI——比任何人類更擅長工作的AI——提出質疑。（OpenAI最近表示將焦點從AGI轉向超智能。）DeepMind作者認為，除非有重大突破，超智能系統短期內，甚至永遠不會出現。
但他們認為，當前方法可能導致「遞歸AI改進」，即AI自行進行AI研究，創造更智能的系統。他們警告，這可能極其危險。
總體而言，論文建議需防止不良行為者接觸AGI、更好地理解AI系統運作，並確保AI運作環境更安全。他們承認許多想法仍處早期，存在「開放研究問題」，但敦促不要忽視即將來臨的安全問題。
作者指出：「AGI可能帶來巨大益處或嚴重危害。因此，為正確開發AGI，頂尖AI開發者需提前計劃，應對重大風險。」
然而，並非所有人都認同論文觀點。
非營利組織AI Now Institute首席AI科學家Heidy Khlaaf對TechCrunch表示，她認為AGI概念太模糊，難以「嚴謹科學評估」。另一位AI研究者、阿爾伯塔大學的Matthew Guzdial表示，他不相信遞歸AI改進目前可行。
Guzdial對TechCrunch說：「遞歸改進是智能奇點論的基礎，但我們從未見過實際運作的證據。」
牛津大學研究科技與監管的Sandra Wachter指出更迫切的擔憂：AI因「不準確輸出」自我強化。
她對TechCrunch說：「隨著線上AI生成內容增加，真實數據被取代，模型從自身充滿不準確或幻覺的輸出中學習。由於聊天機器人主要用於搜索和尋找真相，我們總有被餵送令人信服的錯誤資訊的風險。」
儘管DeepMind的論文詳盡，但可能無法終結關於AGI可能性及當前最需關注的AI安全問題的爭論。
相關文章
OpenAI重申非營利根基於重大企業改造
OpenAI在進行重大企業重組時，堅定不移地秉持其非營利使命，平衡成長與對倫理AI發展的承諾。執行長Sam Altman概述了公司的願景，強調雖然財務策略正在演變，OpenAI對推進人工通用智能（AGI）以造福全球的奉獻依然堅定不移。Altman在公開聲明中指出：「OpenAI的運作方式與傳統公司不同，且將永遠如此。」這為一家在資助變革性技術與堅持道德原則之間尋求平衡的公司定下了基調。回顧Open
Google推出設備端Gemini AI模型用於機器人
Google DeepMind揭曉Gemini Robotics On-Device以實現離線機器人控制Google DeepMind剛剛在機器人領域發布了一項令人振奮的更新—Gemini Robotics On-Device，這是一款新型語言模型，讓機器人能夠在無需網路連接的情況下執行任務。這基於他們早先於三月發布的Gemini Robotics模型，但關鍵升級在於：本地處理。 開發者現在可以通
新研究揭示大規模語言模型實際記憶的數據量
AI模型實際記憶多少？新研究揭示驚人見解我們都知道，像ChatGPT、Claude和Gemini這樣的大規模語言模型（LLMs）是在龐大數據集上訓練的——來自書籍、網站、程式碼，甚至圖像和音頻等多媒體的數兆字詞。但這些數據到底發生了什麼？這些模型真的理解語言，還是僅僅在重複記憶的片段？來自Meta、Google DeepMind、Cornell和NVIDIA的一項突破性新研究終於給出了具體答案——
評論 (47)
0/200
![CarlPerez]()
CarlPerez
2025-08-11 07:01:00
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
![ArthurYoung]()
ArthurYoung
2025-08-09 19:00:59
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
![GregoryRodriguez]()
GregoryRodriguez
2025-04-22 23:58:08
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
![GeorgeJones]()
GeorgeJones
2025-04-20 20:35:58
DeepMind의 AGI 안전 논문? 솔직히 전혀 설득력이 없었어요 🤔. 145페이지를 읽었는데도 여전히 회의적이에요. AGI는 제게는 SF처럼 들려요, 하지만 안전하게 할 수 있다면 찬성해요! 다음번에는 더 설득력 있는 것을 기대할게요.
0
![CharlesLee]()
CharlesLee
2025-04-18 23:24:35
O artigo de segurança de AGI da DeepMind? Honestamente, não me convenceu em nada 🤔. 145 páginas e ainda estou cético. AGI parece ficção científica para mim, mas, ei, se eles conseguirem torná-lo seguro, estou a favor! Talvez na próxima eles tenham algo mais sólido.
0
![CarlTaylor]()
CarlTaylor
2025-04-18 14:26:53
Tentei ler o papel de segurança de AGI do DeepMind, mas é tão denso! 😵💫 Parece que estão tentando nos convencer de que AGI é real, mas ainda não estou convencido. Talvez se tornasse mais digerível, eu ficaria mais convencido. Ainda assim, parabéns pelo esforço!
0
週三，Google DeepMind 發布了一份厚達145頁的論文，深入探討其對AGI安全的做法。AGI，即人工通用智能，是能執行人類任何任務的AI，在AI領域備受關注。有些人認為這只是幻想，而Anthropic等大廠則認為AGI即將到來，若安全措施不到位，可能引發嚴重問題。
DeepMind的論文由共同創辦人Shane Legg等人撰寫，預測AGI可能於2030年前出現，並可能導致所謂的「嚴重危害」。他們未明確說明，但提及「存在風險」等可怕詞語，可能「永久摧毀人類」。
作者指出：「我們預期在本十年結束前看到卓越AGI。」「卓越AGI是指在多項非物理任務上能媲美前1%成人技能的系統，包括學習新技能等棘手任務。」
論文開篇比較了DeepMind、Anthropic和OpenAI處理AGI風險的方式，稱Anthropic不夠重視「穩健訓練、監控和安全」，而OpenAI則專注於「自動化」一種稱為對齊研究的AI安全研究。
論文還對超智能AI——比任何人類更擅長工作的AI——提出質疑。（OpenAI最近表示將焦點從AGI轉向超智能。）DeepMind作者認為，除非有重大突破，超智能系統短期內，甚至永遠不會出現。
但他們認為，當前方法可能導致「遞歸AI改進」，即AI自行進行AI研究，創造更智能的系統。他們警告，這可能極其危險。
總體而言，論文建議需防止不良行為者接觸AGI、更好地理解AI系統運作，並確保AI運作環境更安全。他們承認許多想法仍處早期，存在「開放研究問題」，但敦促不要忽視即將來臨的安全問題。
作者指出：「AGI可能帶來巨大益處或嚴重危害。因此，為正確開發AGI，頂尖AI開發者需提前計劃，應對重大風險。」
然而，並非所有人都認同論文觀點。
非營利組織AI Now Institute首席AI科學家Heidy Khlaaf對TechCrunch表示，她認為AGI概念太模糊，難以「嚴謹科學評估」。另一位AI研究者、阿爾伯塔大學的Matthew Guzdial表示，他不相信遞歸AI改進目前可行。
Guzdial對TechCrunch說：「遞歸改進是智能奇點論的基礎，但我們從未見過實際運作的證據。」
牛津大學研究科技與監管的Sandra Wachter指出更迫切的擔憂：AI因「不準確輸出」自我強化。
她對TechCrunch說：「隨著線上AI生成內容增加，真實數據被取代，模型從自身充滿不準確或幻覺的輸出中學習。由於聊天機器人主要用於搜索和尋找真相，我們總有被餵送令人信服的錯誤資訊的風險。」
儘管DeepMind的論文詳盡，但可能無法終結關於AGI可能性及當前最需關注的AI安全問題的爭論。
OpenAI重申非營利根基於重大企業改造
OpenAI在進行重大企業重組時，堅定不移地秉持其非營利使命，平衡成長與對倫理AI發展的承諾。執行長Sam Altman概述了公司的願景，強調雖然財務策略正在演變，OpenAI對推進人工通用智能（AGI）以造福全球的奉獻依然堅定不移。Altman在公開聲明中指出：「OpenAI的運作方式與傳統公司不同，且將永遠如此。」這為一家在資助變革性技術與堅持道德原則之間尋求平衡的公司定下了基調。回顧Open
Google推出設備端Gemini AI模型用於機器人
Google DeepMind揭曉Gemini Robotics On-Device以實現離線機器人控制Google DeepMind剛剛在機器人領域發布了一項令人振奮的更新—Gemini Robotics On-Device，這是一款新型語言模型，讓機器人能夠在無需網路連接的情況下執行任務。這基於他們早先於三月發布的Gemini Robotics模型，但關鍵升級在於：本地處理。 開發者現在可以通
新研究揭示大規模語言模型實際記憶的數據量
AI模型實際記憶多少？新研究揭示驚人見解我們都知道，像ChatGPT、Claude和Gemini這樣的大規模語言模型（LLMs）是在龐大數據集上訓練的——來自書籍、網站、程式碼，甚至圖像和音頻等多媒體的數兆字詞。但這些數據到底發生了什麼？這些模型真的理解語言，還是僅僅在重複記憶的片段？來自Meta、Google DeepMind、Cornell和NVIDIA的一項突破性新研究終於給出了具體答案——
2025-08-11 07:01:00
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
2025-08-09 19:00:59
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
2025-04-22 23:58:08
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
2025-04-20 20:35:58
DeepMind의 AGI 안전 논문? 솔직히 전혀 설득력이 없었어요 🤔. 145페이지를 읽었는데도 여전히 회의적이에요. AGI는 제게는 SF처럼 들려요, 하지만 안전하게 할 수 있다면 찬성해요! 다음번에는 더 설득력 있는 것을 기대할게요.
0
2025-04-18 23:24:35
O artigo de segurança de AGI da DeepMind? Honestamente, não me convenceu em nada 🤔. 145 páginas e ainda estou cético. AGI parece ficção científica para mim, mas, ei, se eles conseguirem torná-lo seguro, estou a favor! Talvez na próxima eles tenham algo mais sólido.
0
2025-04-18 14:26:53
Tentei ler o papel de segurança de AGI do DeepMind, mas é tão denso! 😵💫 Parece que estão tentando nos convencer de que AGI é real, mas ainda não estou convencido. Talvez se tornasse mais digerível, eu ficaria mais convencido. Ainda assim, parabéns pelo esforço!
0
