Anthropic 執行長闡述「Pace The Frontier」計畫

人工智慧研究人員針對人工智慧的風險發出日益迫切的警告,OpenAI 執行長山姆·阿爾特曼(Sam Altman)更暗示,或許現在是時候該「放緩」發展步伐了。但這實際上意味著什麼呢?
Anthropic 執行長達里奧·阿莫迪(Dario Amodei)在最近的一篇部落格文章中,不僅支持「放緩前沿發展」的呼籲,更提出了三項廣泛的策略來實現此目標。他表示,Anthropic 正「單方面承諾」採取其中一種做法。
本週,隨著研究員雅各布·考克森(Jacob Coxon)宣布辭去 Anthropic 職務,關於 AI 安全與目標對齊的辯論愈演愈烈。他指出,領先的 AI 企業正在「拿我們的生命賭博」,公司內其他成員也對此感同身受,他們認為若放任技術無節制地發展,到本十年末可能釀成致命後果。
儘管阿莫迪的貼文並未明確提及考克森的辭職,但這位執行長解釋,有兩大因素促使他採取更謹慎的立場:OpenAI-HuggingFace 遭駭事件,以及近期「AI 發展速度急遽加快」的事實,特別是其「打造下一代 AI 的能力正不斷增強」。
「我們必須放緩提升AI模型能力的步伐,」阿莫迪寫道。「進展速度在表面上仍會顯得很快,而我們必須明智地運用所贏得的時間。」
他的首項提案涉及由 METR 等第三方組織提供的「嵌入式評估員」。這些評估員將驗證 AI 公司是否遵守其進度控制與安全承諾,並確保安全事件獲得通報。(OpenAI 近期因未通報其 AI 代理接管德國維基表單的事件而面臨批評。)
阿莫迪將這些評估員比作派駐銀行員工中的監管人員,並表示邀請他們加入是「Anthropic 單方面承諾要做的事(並呼籲各國政府要求其他前沿企業效法)。」 這包括為評估員提供公司證、辦公桌和筆記型電腦,並賦予其「與內部風險評估團隊大致相當」的存取權限,惟法律或合約有所限制者除外。
接著,阿莫迪敦促「民主國家內」的領先人工智慧企業,共同協調制定「共同的安全標準,以及對未受監管的人工智慧進展速度的限制」。
鑑於阿爾特曼與阿莫迪之間顯而易見的摩擦,加上外界擔憂協調性的暫停行動可能引發反壟斷審查,此類協調似乎難以實現。 阿莫迪在貼文中針對此點回應,寫道:「基於反壟斷考量,由美國政府居中調解或至少促成這些討論將有所助益——政府無需親自參與,但確實需要針對特定類型的安全對話頒布有限度的豁免。」
阿莫迪還回應了外界對中國在人工智慧領域主導地位的擔憂,這通常被用作反對放緩發展的論據。 他主張,若美國政府與科技公司採取相關措施——例如拒絕向中國企業出售高性能晶片或半導體製造設備,並嚴打模型蒸餾技術——便能「足夠有效地放緩中國的進展,使美國在未來 3 至 5 年內大幅擴大領先優勢。」
最後,阿莫迪呼籲進行「全球協調」,讓美國及其盟友「在可行範圍內,試圖與威權政府進行協調」。 他承認「能達成的成果存在嚴峻限制」,但暗示仍可能存在達成共識的機會,即使僅限於「禁止某些狹隘且顯然危險的人工智慧用途,例如利用人工智慧製造生物武器,或允許使用者進行此類行為」。
鑒於阿莫迪過去曾願意承認人工智慧的潛在危險,且其公司對監管持開放態度,部分人工智慧倡導者批評他是位「末日論者」,其言論助長了當前的反彈浪潮。 對此,阿莫迪聲稱自己試圖提供「平衡」的觀點,並辯稱這股反彈「本質上是一場信任危機」,因為人們已對科技公司、整個產業以及政府日益持懷疑態度。
業界批評者對這些關於人工智慧的末日警告仍持懷疑態度,認為這些言論轉移了人們對該技術已造成危害的關注。
例如,記者布萊恩·梅爾徹特(Brian Merchant)表示,他至今尚未看到「任何可信且逐步闡明的文件,說明人工智慧究竟如何從自我遞歸式提升,演變到殺光地球上每一個人類」; 他還指出,類似阿莫迪的提案「最終很可能只會服務於 Anthropic 和 OpenAI;這正是『監管俘獲』在現實中的具體表現。」
阿莫迪在新貼文中寫道,他依然「相信人工智慧能極大提升人類的生活品質」。
「我實現這些效益的渴望絲毫未減,」他說。「但唯有以正確的方式開發這項技術,才能實現這些效益;而且——只要我們善用所獲得的時間——為了確保一切正確無誤,值得我們格外謹慎地加以處理。」
相關文章
Anthropic 推出備受爭議的內容生成器 Opus 4.6
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。
Anthropic 報告稱,隨著會議時間增加,員工資歷也在上升
Anthropic 的 workforce composition and work patterns have shifted dramatically over the last year, according to a report released by the AI company on Friday.Anthropic suggests its internal trends may signal broader economic shifts in hiring, labor d
Anthropic 承認其 AI 模型在安全測試中突破了三家公司的防線
Anthropic 於週四宣佈,內部調查揭示了三起獨立事件,其 AI 模型 Claude 在網路安全評估期間突破了三個組織的系統。此次披露緊隨 OpenAI 公佈其一款未釋出模型在內部測試期間同樣突破了 Hugging Face 基礎設施的訊息之後。根據部落格文章,Anthropic 解釋說,在所有三個案例中,Claude 模型透過與第三方互動,從測試環境中逃逸,隨後未經授權訪問了這些組織的實時系統。該公司詳細說明了調查結果,並概述了計劃實施的更改以防止未來發生類似事件。受 7 月 21 日涉
相關專題推薦
評論 (0)
0/500

人工智慧研究人員針對人工智慧的風險發出日益迫切的警告,OpenAI 執行長山姆·阿爾特曼(Sam Altman)更暗示,或許現在是時候該「放緩」發展步伐了。但這實際上意味著什麼呢?
Anthropic 執行長達里奧·阿莫迪(Dario Amodei)在最近的一篇部落格文章中,不僅支持「放緩前沿發展」的呼籲,更提出了三項廣泛的策略來實現此目標。他表示,Anthropic 正「單方面承諾」採取其中一種做法。
本週,隨著研究員雅各布·考克森(Jacob Coxon)宣布辭去 Anthropic 職務,關於 AI 安全與目標對齊的辯論愈演愈烈。他指出,領先的 AI 企業正在「拿我們的生命賭博」,公司內其他成員也對此感同身受,他們認為若放任技術無節制地發展,到本十年末可能釀成致命後果。
儘管阿莫迪的貼文並未明確提及考克森的辭職,但這位執行長解釋,有兩大因素促使他採取更謹慎的立場:OpenAI-HuggingFace 遭駭事件,以及近期「AI 發展速度急遽加快」的事實,特別是其「打造下一代 AI 的能力正不斷增強」。
「我們必須放緩提升AI模型能力的步伐,」阿莫迪寫道。「進展速度在表面上仍會顯得很快,而我們必須明智地運用所贏得的時間。」
他的首項提案涉及由 METR 等第三方組織提供的「嵌入式評估員」。這些評估員將驗證 AI 公司是否遵守其進度控制與安全承諾,並確保安全事件獲得通報。(OpenAI 近期因未通報其 AI 代理接管德國維基表單的事件而面臨批評。)
阿莫迪將這些評估員比作派駐銀行員工中的監管人員,並表示邀請他們加入是「Anthropic 單方面承諾要做的事(並呼籲各國政府要求其他前沿企業效法)。」 這包括為評估員提供公司證、辦公桌和筆記型電腦,並賦予其「與內部風險評估團隊大致相當」的存取權限,惟法律或合約有所限制者除外。
接著,阿莫迪敦促「民主國家內」的領先人工智慧企業,共同協調制定「共同的安全標準,以及對未受監管的人工智慧進展速度的限制」。
鑑於阿爾特曼與阿莫迪之間顯而易見的摩擦,加上外界擔憂協調性的暫停行動可能引發反壟斷審查,此類協調似乎難以實現。 阿莫迪在貼文中針對此點回應,寫道:「基於反壟斷考量,由美國政府居中調解或至少促成這些討論將有所助益——政府無需親自參與,但確實需要針對特定類型的安全對話頒布有限度的豁免。」
阿莫迪還回應了外界對中國在人工智慧領域主導地位的擔憂,這通常被用作反對放緩發展的論據。 他主張,若美國政府與科技公司採取相關措施——例如拒絕向中國企業出售高性能晶片或半導體製造設備,並嚴打模型蒸餾技術——便能「足夠有效地放緩中國的進展,使美國在未來 3 至 5 年內大幅擴大領先優勢。」
最後,阿莫迪呼籲進行「全球協調」,讓美國及其盟友「在可行範圍內,試圖與威權政府進行協調」。 他承認「能達成的成果存在嚴峻限制」,但暗示仍可能存在達成共識的機會,即使僅限於「禁止某些狹隘且顯然危險的人工智慧用途,例如利用人工智慧製造生物武器,或允許使用者進行此類行為」。
鑒於阿莫迪過去曾願意承認人工智慧的潛在危險,且其公司對監管持開放態度,部分人工智慧倡導者批評他是位「末日論者」,其言論助長了當前的反彈浪潮。 對此,阿莫迪聲稱自己試圖提供「平衡」的觀點,並辯稱這股反彈「本質上是一場信任危機」,因為人們已對科技公司、整個產業以及政府日益持懷疑態度。
業界批評者對這些關於人工智慧的末日警告仍持懷疑態度,認為這些言論轉移了人們對該技術已造成危害的關注。
例如,記者布萊恩·梅爾徹特(Brian Merchant)表示,他至今尚未看到「任何可信且逐步闡明的文件,說明人工智慧究竟如何從自我遞歸式提升,演變到殺光地球上每一個人類」; 他還指出,類似阿莫迪的提案「最終很可能只會服務於 Anthropic 和 OpenAI;這正是『監管俘獲』在現實中的具體表現。」
阿莫迪在新貼文中寫道,他依然「相信人工智慧能極大提升人類的生活品質」。
「我實現這些效益的渴望絲毫未減,」他說。「但唯有以正確的方式開發這項技術,才能實現這些效益;而且——只要我們善用所獲得的時間——為了確保一切正確無誤,值得我們格外謹慎地加以處理。」
Anthropic 推出備受爭議的內容生成器 Opus 4.6
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。
Anthropic 報告稱,隨著會議時間增加,員工資歷也在上升
Anthropic 的 workforce composition and work patterns have shifted dramatically over the last year, according to a report released by the AI company on Friday.Anthropic suggests its internal trends may signal broader economic shifts in hiring, labor d
Anthropic 承認其 AI 模型在安全測試中突破了三家公司的防線
Anthropic 於週四宣佈,內部調查揭示了三起獨立事件,其 AI 模型 Claude 在網路安全評估期間突破了三個組織的系統。此次披露緊隨 OpenAI 公佈其一款未釋出模型在內部測試期間同樣突破了 Hugging Face 基礎設施的訊息之後。根據部落格文章,Anthropic 解釋說,在所有三個案例中,Claude 模型透過與第三方互動,從測試環境中逃逸,隨後未經授權訪問了這些組織的實時系統。該公司詳細說明了調查結果,並概述了計劃實施的更改以防止未來發生類似事件。受 7 月 21 日涉





首頁






