山姆·奧特曼引發關於人工智慧減速的辯論

在Apple Podcasts上收聽在Spotify上收聽
OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。
在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未有的,但攻擊本身並非“某種新的先進事物”。
“這更像尼克松的人闖入水門事件,而不是某種真正的隱蔽網路行動,因為它不需要如此,也沒有被指示要如此,”Sean說。“希望這是一個訊號,表明這些公司將推進此事,並對這些問題更加謹慎。”
阿爾特曼的言論也促使我質疑加速主義與減速主義辯論的有用性,因為(是的,我即將引用自己)這種框架“某種程度上暗示只有一條路徑”,以及“我們所能決定的——如果我們能決定的話——只是,我們是加速還是減速?”
繼續閱讀以獲取我們對話的預覽,已編輯以簡化篇幅和清晰度。
Sean O’Kane: 也許我們終於在這裡達到了一個轉折點。我認為,這背後的一個主要驅動因素是我們上週討論的內容,即OpenAI的一個模型入侵了Hugging Face的資料,並似乎還突破了網際網路上的其他一些東西。
[阿爾特曼]並沒有呼籲暫停,就像我們過去看到科技行業中的一些人試圖做的那樣。他對自己的措辭非常謹慎,說的是“控制節奏”。我們將拭目以待這是否能持續。我們看到的這些實驗室丟擲的任何謹慎言論,往往會在推動它們繼續全速前進的激勵措施面前被逆轉。所以,我仍然持懷疑態度,這並不令人驚訝。
Kirsten Korosec: 現在我要說的是,[阿爾特曼]的措辭可能很謹慎,但OpenAI和Anthropic確實[支援]了一份請願書,該請願書反映了他所談論的內容。
我同意你的觀點,我認為這一切很大程度上是由Hugging Face觸發的。這可能讓他感到震驚,也肯定讓行業中的許多人感到震驚。這裡的難點在於:你如何小心翼翼地處理,或者OpenAI如何小心翼翼地處理,既要繼續產生收入、籌集資金或進行所謂的“首次公開募股(IPO)”,又要“控制發展速度”。
我不知道他們是否能做到這一點。我很想知道他們是否能兼顧兩者。
Anthony Ha: 我一直在糾結的另一個問題也是:加速[與]減速是否是思考這個問題的正確框架?因為這暗示只有一條路徑,我們都困在這條路徑上。我們所能決定的——如果我們能決定的話——只是,我們是加速還是減速?而不是——再次,我要非常折磨這個比喻——但我們是否建立不同的護欄?我們是否選擇不同的路徑?
我對這種框架非常牴觸。而不是說,“好吧,如果我們對模型目前的表現不滿意,我們還能做什麼?減速、暫停或停止是唯一的選擇嗎?”我認為並非如此。
我想再次強調的一件事是,看到圍繞此事的警報級別非常有趣——這種“如果我們擁有這些自主代理和模型,它們只是在四處駭客攻擊、試圖防止駭客攻擊,這一切都超出了我們的控制”的感覺,導致了關於對齊問題的所有更廣泛的辯論,Rebecca Bellan對此做了一篇很好的文章。
但值得回到我們在TechCrunch上寫過的一個觀點,即這次特定的駭客攻擊——是的,它是由OpenAI模型引起的,但聽起來他們只是沒有妥善保護測試網站。理論上,該模型本不應能夠上網。當然,如果你有一個強大的未對齊AI,這種人為錯誤的風險會急劇上升。但它確實始於這樣一個事實,即他們沒有以應有的方式保護事物。
Sean: 我認為這是對的。我認為你的觀點很有道理,即我們不應該以某種線性方式思考這個問題,以及事物是在加速還是減速。關於這些公司有多麼負責任,還有很多可以也應該說的話。Lorenzo,我們的一位同事,也寫了一篇很好的文章,詳細說明了關注此事的嚴肅安全研究人員認為這次駭客攻擊究竟是什麼樣的。看起來確實如此,在這次駭客攻擊的雙方,都採取了一些可能本可以防止它的步驟。
在這個故事中,我發現最有趣的一點是,一些研究人員指出,該模型所做的並不是什麼新的先進事物。它在試圖入侵Hugging Face時的思維方式非常人性化——不是為了擬人化,而是它思考如何入侵Hugging Face的方式,而且它也非常吵鬧和混亂,並沒有真正試圖掩蓋自己的蹤跡。這更像尼克松的人闖入水門事件,而不是某種真正的隱蔽網路行動,因為它不需要如此,也沒有被指示要如此。
這本來更容易預防。希望這是一個訊號,表明這些公司將推進此事,並對這些問題更加謹慎。
關於加速與減速[辯論],我還要說一件事。我不知道這是否是動機,但你提到了IPO,Kirsten。我認為阿爾特曼能夠利用他們目前的優勢是明智的,即[OpenAI]下個月或兩個月內不會[去]市場。他甚至提出了在2027年上市的想法,他們只提交了保密檔案,以便在準備好時擁有該選項。
所以,如果你相信所有這些,他有能力以Anthropic無法做到的方式談論這一點,因為Anthropic已經與許多銀行家進行了對話,並正朝著更近期的IPO邁進,因此在它可以說什麼、應該如何說以及市場將如何反應方面受到更多限制。
相關文章
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
OpenAI 在企業使用者中與 Anthropic 的差距縮小,新資料顯示
在 OpenAI 和 Anthropic 距離預期的首次公開募股(IPO)以及詳細財務報告的釋出仍有距離的情況下,我們必須轉向其他指標來評估它們的業務表現。企業信用卡和費用管理平臺 Ramp 最近釋出了令人信服的資料,顯示 OpenAI 正在迅速縮小與美國企業使用者中 Anthropic 的差距。OpenAI 此前在消費者和企業客戶中都佔據主導地位,但在今年 5 月,它失去了在 Ramp 付費企業使用者中的領先地位。當時,Anthropic 佔據了 41% 的市場份額,而 OpenAI 為 39%
相關專題推薦
評論 (0)
0/500

OpenAI執行長薩姆·阿爾特曼(Sam Altman)最近表示,現在可能是時候“控制人工智慧的發展速度”,以便社會“在這些新的能力水平周圍加固自身”。
在TechCrunch《Equity》播客的最新一期中,Kirsten Korosec、Sean O’Kane和我討論了阿爾特曼的言論可能由最近的一次駭客攻擊所觸發,該攻擊中一名OpenAI代理突破了Hugging Face的系統。Sean指出,雖然由AI代理執行的駭客攻擊是前所未有的,但攻擊本身並非“某種新的先進事物”。
“這更像尼克松的人闖入水門事件,而不是某種真正的隱蔽網路行動,因為它不需要如此,也沒有被指示要如此,”Sean說。“希望這是一個訊號,表明這些公司將推進此事,並對這些問題更加謹慎。”
阿爾特曼的言論也促使我質疑加速主義與減速主義辯論的有用性,因為(是的,我即將引用自己)這種框架“某種程度上暗示只有一條路徑”,以及“我們所能決定的——如果我們能決定的話——只是,我們是加速還是減速?”
繼續閱讀以獲取我們對話的預覽,已編輯以簡化篇幅和清晰度。
Sean O’Kane: 也許我們終於在這裡達到了一個轉折點。我認為,這背後的一個主要驅動因素是我們上週討論的內容,即OpenAI的一個模型入侵了Hugging Face的資料,並似乎還突破了網際網路上的其他一些東西。
[阿爾特曼]並沒有呼籲暫停,就像我們過去看到科技行業中的一些人試圖做的那樣。他對自己的措辭非常謹慎,說的是“控制節奏”。我們將拭目以待這是否能持續。我們看到的這些實驗室丟擲的任何謹慎言論,往往會在推動它們繼續全速前進的激勵措施面前被逆轉。所以,我仍然持懷疑態度,這並不令人驚訝。
Kirsten Korosec: 現在我要說的是,[阿爾特曼]的措辭可能很謹慎,但OpenAI和Anthropic確實[支援]了一份請願書,該請願書反映了他所談論的內容。
我同意你的觀點,我認為這一切很大程度上是由Hugging Face觸發的。這可能讓他感到震驚,也肯定讓行業中的許多人感到震驚。這裡的難點在於:你如何小心翼翼地處理,或者OpenAI如何小心翼翼地處理,既要繼續產生收入、籌集資金或進行所謂的“首次公開募股(IPO)”,又要“控制發展速度”。
我不知道他們是否能做到這一點。我很想知道他們是否能兼顧兩者。
Anthony Ha: 我一直在糾結的另一個問題也是:加速[與]減速是否是思考這個問題的正確框架?因為這暗示只有一條路徑,我們都困在這條路徑上。我們所能決定的——如果我們能決定的話——只是,我們是加速還是減速?而不是——再次,我要非常折磨這個比喻——但我們是否建立不同的護欄?我們是否選擇不同的路徑?
我對這種框架非常牴觸。而不是說,“好吧,如果我們對模型目前的表現不滿意,我們還能做什麼?減速、暫停或停止是唯一的選擇嗎?”我認為並非如此。
我想再次強調的一件事是,看到圍繞此事的警報級別非常有趣——這種“如果我們擁有這些自主代理和模型,它們只是在四處駭客攻擊、試圖防止駭客攻擊,這一切都超出了我們的控制”的感覺,導致了關於對齊問題的所有更廣泛的辯論,Rebecca Bellan對此做了一篇很好的文章。
但值得回到我們在TechCrunch上寫過的一個觀點,即這次特定的駭客攻擊——是的,它是由OpenAI模型引起的,但聽起來他們只是沒有妥善保護測試網站。理論上,該模型本不應能夠上網。當然,如果你有一個強大的未對齊AI,這種人為錯誤的風險會急劇上升。但它確實始於這樣一個事實,即他們沒有以應有的方式保護事物。
Sean: 我認為這是對的。我認為你的觀點很有道理,即我們不應該以某種線性方式思考這個問題,以及事物是在加速還是減速。關於這些公司有多麼負責任,還有很多可以也應該說的話。Lorenzo,我們的一位同事,也寫了一篇很好的文章,詳細說明了關注此事的嚴肅安全研究人員認為這次駭客攻擊究竟是什麼樣的。看起來確實如此,在這次駭客攻擊的雙方,都採取了一些可能本可以防止它的步驟。
在這個故事中,我發現最有趣的一點是,一些研究人員指出,該模型所做的並不是什麼新的先進事物。它在試圖入侵Hugging Face時的思維方式非常人性化——不是為了擬人化,而是它思考如何入侵Hugging Face的方式,而且它也非常吵鬧和混亂,並沒有真正試圖掩蓋自己的蹤跡。這更像尼克松的人闖入水門事件,而不是某種真正的隱蔽網路行動,因為它不需要如此,也沒有被指示要如此。
這本來更容易預防。希望這是一個訊號,表明這些公司將推進此事,並對這些問題更加謹慎。
關於加速與減速[辯論],我還要說一件事。我不知道這是否是動機,但你提到了IPO,Kirsten。我認為阿爾特曼能夠利用他們目前的優勢是明智的,即[OpenAI]下個月或兩個月內不會[去]市場。他甚至提出了在2027年上市的想法,他們只提交了保密檔案,以便在準備好時擁有該選項。
所以,如果你相信所有這些,他有能力以Anthropic無法做到的方式談論這一點,因為Anthropic已經與許多銀行家進行了對話,並正朝著更近期的IPO邁進,因此在它可以說什麼、應該如何說以及市場將如何反應方面受到更多限制。
OpenAI 與蘋果公司就商業秘密訴訟進行對抗
OpenAI 於週二駁回了蘋果公司的商業秘密指控,稱該訴訟毫無根據。“我們認真對待這些指控,但未發現任何支援它們的證據,”OpenAI 表示,據彭博社記者 Ed Ludlow 在 X 平臺報道,“我們支援公平競爭和工作自由,專注於創造賦能全球使用者的技術。”此前,蘋果公司於週五在美國加利福尼亞州北區聯邦地區法院提起訴訟,指控 OpenAI 策劃了一項從前蘋果員工處竊取機密資料和智慧財產權的計劃。這份長達 41 頁的訴狀針對 OpenAI 的高管層,包括首席硬體官 Tang Tan,他是一名擁有
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
OpenAI 在企業使用者中與 Anthropic 的差距縮小,新資料顯示
在 OpenAI 和 Anthropic 距離預期的首次公開募股(IPO)以及詳細財務報告的釋出仍有距離的情況下,我們必須轉向其他指標來評估它們的業務表現。企業信用卡和費用管理平臺 Ramp 最近釋出了令人信服的資料,顯示 OpenAI 正在迅速縮小與美國企業使用者中 Anthropic 的差距。OpenAI 此前在消費者和企業客戶中都佔據主導地位,但在今年 5 月,它失去了在 Ramp 付費企業使用者中的領先地位。當時,Anthropic 佔據了 41% 的市場份額,而 OpenAI 為 39%





首頁






