DeepMind的AGI安全紙無法解決懷疑論者

# deepmind # agi

週三，Google DeepMind放棄了一張長達145頁的紙，深入研究了他們的AGI安全方法。 AGI或人工通用智能是可以解決人類可以解決任何任務的AI，這是AI世界中的熱門話題。有些人認為這只是一個幻想，而另一些人則像擬人化的大鏡頭一樣，認為它就在彎道周圍，如果我們沒有檢查安全措施，可能會造成嚴重的麻煩。 DeepMind的論文在聯合創始人Shane Legg的幫助下寫下，認為Agi可能會到2030年出現，並可能導致他們所謂的“嚴重傷害”。他們並沒有完全闡明它，但是他們圍繞著可怕的短語，例如“生存風險”，這些風險可能會永久摧毀人類。作者指出：“我們押注在這十年之前看到一個出色的AGI。” “一個傑出的AGI是一個可以在一系列非物理任務中與前1％的成年人的技能相匹配的系統，包括棘手的事情，例如學習新技能。”從一開始，該論文將DeepMind處理AGI風險的方式與人類和OpenAi的做法進行了比較。它說，擬人化在“強大的培訓，監測和安全性”方面並不那麼大，而Openai則是“自動化”一種稱為Alignment Research的AI安全研究。該論文還對超級智能AI的想法（AI）的想法造成了一些陰影，而AI在工作方面比任何人都更好。 （Openai最近表示，他們將重點從AGI轉移到了超級智能。）如果沒有一些重大的新突破，DeepMind的作者並沒有購買超級智能係統即將到來的任何時間，或者也許有史以來。但是他們確實認為我們當前的方法可能會導致“遞歸AI的改進”，在這種方法中，AI進行了自己的AI研究以使甚至更智能的AI系統。他們警告說，這可能是超級危險的。總體而言，本文建議我們需要開發方法，以使壞演員遠離AGI，更好地了解AI系統的工作，並使AI更安全的環境更加安全。他們承認，許多這些想法仍處於早期階段，並存在“開放研究問題”，但他們敦促我們不要忽略可能正在出現的安全問題。作者指出：“ AGI可以帶來驚人的好處或嚴重傷害。” “因此，要以正確的方式建立AGI，對於AI頂級開發人員來說，提前計劃並應對這些大風險至關重要。”不過，並不是每個人都掌握本文的想法。非營利性人工智能現任研究所的首席AI科學家Heidy Khlaaf告訴TechCrunch，她認為Agi太模糊了一個概念，無法“對科學進行嚴格的評估”。另一位AI研究人員，來自艾伯塔大學的Matthew Guzdial說，他不相信遞歸AI的改進是可行的。 Guzdial告訴TechCrunch：“遞歸改進是情報上的奇異性論點所基於的，但我們從未見過任何證據表明它實際上有效。”在牛津大學進行技術和法規的桑德拉·沃克特（Sandra Wachter）指出，更加緊迫的擔憂：AI以“不准確的產出”加強了自己。她告訴TechCrunch：“隨著越來越多的AI生成的內容在線替換了實際數據，模型正在從自己的輸出中學習，這些輸出充滿了不准確或幻覺。” “由於聊天機器人主要用於搜索和尋找真相，因此我們總是有被以非常令人信服的方式呈現的虛假信息的風險。”儘管如此，DeepMind的論文可能不會結束有關AGI的真正可能性的辯論，而AI安全問題現在需要最大的關注。

相關文章

評論 (45)