DeepMind的AGI安全紙無法解決懷疑論者

週三,Google DeepMind 發布了一份厚達145頁的論文,深入探討其對AGI安全的做法。AGI,即人工通用智能,是能執行人類任何任務的AI,在AI領域備受關注。有些人認為這只是幻想,而Anthropic等大廠則認為AGI即將到來,若安全措施不到位,可能引發嚴重問題。
DeepMind的論文由共同創辦人Shane Legg等人撰寫,預測AGI可能於2030年前出現,並可能導致所謂的「嚴重危害」。他們未明確說明,但提及「存在風險」等可怕詞語,可能「永久摧毀人類」。
作者指出:「我們預期在本十年結束前看到卓越AGI。」「卓越AGI是指在多項非物理任務上能媲美前1%成人技能的系統,包括學習新技能等棘手任務。」
論文開篇比較了DeepMind、Anthropic和OpenAI處理AGI風險的方式,稱Anthropic不夠重視「穩健訓練、監控和安全」,而OpenAI則專注於「自動化」一種稱為對齊研究的AI安全研究。
論文還對超智能AI——比任何人類更擅長工作的AI——提出質疑。(OpenAI最近表示將焦點從AGI轉向超智能。)DeepMind作者認為,除非有重大突破,超智能系統短期內,甚至永遠不會出現。
但他們認為,當前方法可能導致「遞歸AI改進」,即AI自行進行AI研究,創造更智能的系統。他們警告,這可能極其危險。
總體而言,論文建議需防止不良行為者接觸AGI、更好地理解AI系統運作,並確保AI運作環境更安全。他們承認許多想法仍處早期,存在「開放研究問題」,但敦促不要忽視即將來臨的安全問題。
作者指出:「AGI可能帶來巨大益處或嚴重危害。因此,為正確開發AGI,頂尖AI開發者需提前計劃,應對重大風險。」
然而,並非所有人都認同論文觀點。
非營利組織AI Now Institute首席AI科學家Heidy Khlaaf對TechCrunch表示,她認為AGI概念太模糊,難以「嚴謹科學評估」。另一位AI研究者、阿爾伯塔大學的Matthew Guzdial表示,他不相信遞歸AI改進目前可行。
Guzdial對TechCrunch說:「遞歸改進是智能奇點論的基礎,但我們從未見過實際運作的證據。」
牛津大學研究科技與監管的Sandra Wachter指出更迫切的擔憂:AI因「不準確輸出」自我強化。
她對TechCrunch說:「隨著線上AI生成內容增加,真實數據被取代,模型從自身充滿不準確或幻覺的輸出中學習。由於聊天機器人主要用於搜索和尋找真相,我們總有被餵送令人信服的錯誤資訊的風險。」
儘管DeepMind的論文詳盡,但可能無法終結關於AGI可能性及當前最需關注的AI安全問題的爭論。
相關文章
OpenAI 勾勒出以公共財富基金、機器人稅及每週四天工作制為核心的人工智慧經濟藍圖
當各國政府正竭力應對超智能機器帶來的經濟衝擊之際,OpenAI 發布了一系列政策提案,闡述在「智能時代」中財富與工作可能如何重塑。這些構想將傳統的左翼機制——例如公共財富基金與擴大的社會安全網——與根本上資本主義、市場導向的經濟框架相融合。OpenAI 的提案本質上是一份願望清單,這份公開聲明有助於民選官員、投資者及公眾理解這家市值 8,520 億美元的公司,如何看待人工智慧在重塑勞動與經濟的過程
Databricks 共同創辦人榮獲 ACM 獎項後,宣稱通用人工智慧即將問世
Databricks 共同創辦人暨技術長 Matei Zaharia 差點錯過那封通知他獲得 2026 年 ACM 計算獎的電子郵件。「這確實是個驚喜,」他向 TechCrunch 透露。2009年,扎哈里亞在加州大學柏克萊分校攻讀博士期間,在著名教授伊昂·斯托伊卡(Ion Stoica)的指導下所開發的技術,被整合進 Databricks。扎哈里亞設計了一種方法,能大幅加速處理那些緩慢且繁瑣的大
OpenAI執行長山姆·阿特曼宣告超級智能時代的來臨
OpenAI執行長山姆·奧特曼宣佈,人類已邁入人工超級智慧時代,且此進程不可逆轉。「我們已跨越無法回頭的臨界點,升華之路正式展開,」奧特曼表示:「人類正站在創造數位超級智能的門檻上,而迄今為止,這過程竟比想像中更為尋常。」儘管缺乏明顯跡象——街頭尚未遍布機器人,疾病仍未絕跡——但奧特曼所描述的深刻變革已悄然啟動。在諸如其公司等機構中,正研發出能超越人類通用智能的系統。「從重要層面而言,ChatGP
相關專題推薦
評論 (52)
0/500
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔

週三,Google DeepMind 發布了一份厚達145頁的論文,深入探討其對AGI安全的做法。AGI,即人工通用智能,是能執行人類任何任務的AI,在AI領域備受關注。有些人認為這只是幻想,而Anthropic等大廠則認為AGI即將到來,若安全措施不到位,可能引發嚴重問題。
DeepMind的論文由共同創辦人Shane Legg等人撰寫,預測AGI可能於2030年前出現,並可能導致所謂的「嚴重危害」。他們未明確說明,但提及「存在風險」等可怕詞語,可能「永久摧毀人類」。
作者指出:「我們預期在本十年結束前看到卓越AGI。」「卓越AGI是指在多項非物理任務上能媲美前1%成人技能的系統,包括學習新技能等棘手任務。」
論文開篇比較了DeepMind、Anthropic和OpenAI處理AGI風險的方式,稱Anthropic不夠重視「穩健訓練、監控和安全」,而OpenAI則專注於「自動化」一種稱為對齊研究的AI安全研究。
論文還對超智能AI——比任何人類更擅長工作的AI——提出質疑。(OpenAI最近表示將焦點從AGI轉向超智能。)DeepMind作者認為,除非有重大突破,超智能系統短期內,甚至永遠不會出現。
但他們認為,當前方法可能導致「遞歸AI改進」,即AI自行進行AI研究,創造更智能的系統。他們警告,這可能極其危險。
總體而言,論文建議需防止不良行為者接觸AGI、更好地理解AI系統運作,並確保AI運作環境更安全。他們承認許多想法仍處早期,存在「開放研究問題」,但敦促不要忽視即將來臨的安全問題。
作者指出:「AGI可能帶來巨大益處或嚴重危害。因此,為正確開發AGI,頂尖AI開發者需提前計劃,應對重大風險。」
然而,並非所有人都認同論文觀點。
非營利組織AI Now Institute首席AI科學家Heidy Khlaaf對TechCrunch表示,她認為AGI概念太模糊,難以「嚴謹科學評估」。另一位AI研究者、阿爾伯塔大學的Matthew Guzdial表示,他不相信遞歸AI改進目前可行。
Guzdial對TechCrunch說:「遞歸改進是智能奇點論的基礎,但我們從未見過實際運作的證據。」
牛津大學研究科技與監管的Sandra Wachter指出更迫切的擔憂:AI因「不準確輸出」自我強化。
她對TechCrunch說:「隨著線上AI生成內容增加,真實數據被取代,模型從自身充滿不準確或幻覺的輸出中學習。由於聊天機器人主要用於搜索和尋找真相,我們總有被餵送令人信服的錯誤資訊的風險。」
儘管DeepMind的論文詳盡,但可能無法終結關於AGI可能性及當前最需關注的AI安全問題的爭論。
OpenAI 勾勒出以公共財富基金、機器人稅及每週四天工作制為核心的人工智慧經濟藍圖
當各國政府正竭力應對超智能機器帶來的經濟衝擊之際,OpenAI 發布了一系列政策提案,闡述在「智能時代」中財富與工作可能如何重塑。這些構想將傳統的左翼機制——例如公共財富基金與擴大的社會安全網——與根本上資本主義、市場導向的經濟框架相融合。OpenAI 的提案本質上是一份願望清單,這份公開聲明有助於民選官員、投資者及公眾理解這家市值 8,520 億美元的公司,如何看待人工智慧在重塑勞動與經濟的過程
Databricks 共同創辦人榮獲 ACM 獎項後,宣稱通用人工智慧即將問世
Databricks 共同創辦人暨技術長 Matei Zaharia 差點錯過那封通知他獲得 2026 年 ACM 計算獎的電子郵件。「這確實是個驚喜,」他向 TechCrunch 透露。2009年,扎哈里亞在加州大學柏克萊分校攻讀博士期間,在著名教授伊昂·斯托伊卡(Ion Stoica)的指導下所開發的技術,被整合進 Databricks。扎哈里亞設計了一種方法,能大幅加速處理那些緩慢且繁瑣的大
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔





首頁






