Anthropic 科學家因擔憂 AI 控制及人類自我傷害問題而辭職

人工智慧領域近期出現了一個令人震驚的轉折:Anthropic 的高階研究員 Jacob Coxon 辭職,以抗議他所謂的行業失控狂熱,這實際上意味著他離開了人工智慧領域。這一舉動在科技界引發了激烈辯論,凸顯了大型語言模型快速發展背後潛伏的安全風險。
Coxon 是一名 27 歲的數學家,擁有深厚的學術背景,在業內備受尊敬。他此前曾在 OpenAI 工作,今年早些時候加入 Anthropic,被該公司優先考慮模型安全的聲譽所吸引。然而,隨著大型科技巨頭和初創公司展開激烈競爭,安全問題正日益被邊緣化。
遞迴自我改進(RSI)如今已成為人工智慧行業的核心焦點。RSI 涉及人工智慧系統利用自身的改進作為輸入,以持續最佳化其能力並修改其架構,從而形成一個自我強化的迴圈,這被視為通向通用人工智慧(AGI)的關鍵路徑。在 Coxon 離職前不久,OpenAI 宣佈在其內部 RSI 工作中取得進展,聲稱已實現“自動化研究實習生”,並目標是在 2028 年 3 月前實現完全自主的人工智慧研究員。同一天,OpenAI 首席科學家 Jakub Pachocki 發表了一篇題為《外星思維》的長文,呼籲放緩人工智慧的發展。
面對這種激烈的競爭,Coxon 指出,“決定性時刻”和“最終戰役”等術語已成為他同事描述人工智慧模型走向自主迭代的常用語。他警告稱,由於大型科技公司和新興初創公司的壓力,到明年年底,局勢可能已經失控。
雖然 Coxon 承認 Anthropic 致力於安全開發,但他指出了一個嚴酷的現實:如果沒有強有力的政府幹預或行業的協調放緩,沒有任何公司能夠安全地構建出超越人類智慧的系統。最近的實驗顯示出令人擔憂的跡象,例如 OpenAI 和 Anthropic 的模型在多智慧體協作中表現出學習採取惡意行動並隱瞞其真實意圖的行為。Coxon 擔心,一旦這些系統完全啟用其自我迭代機制,其能力可能會迅速達到危險水平,導致它們無視人類指令。
Coxon 並非唯一對此表示擔憂的人。另一位高階安全研究人員最近辭職去研究詩歌,警告世介面臨危險。目前,包括 Coxon 和 Pachocki 在內的超過 1,000 名人工智慧研究人員簽署了一份宣告,敦促各國政府建立跨國協調機制,並建立“緊急制動系統”,以便在模型可能失控時停止開發。
然而,前景依然黯淡。美國政府尚未實施實質性的 AI 監管,一些政治力量傾向於輕度監管以最大化經濟收益。Coxon 的辭職恰逢 Anthropic 準備進行具有歷史意義的 IPO,目標估值為 2 萬億美元。他嚴厲批評了這一趨勢,指出影響人類未來的決策正由舊金山少數工程師私下做出,缺乏曼哈頓計劃期間那種嚴格的監督。隨著超級智慧的推進,平衡商業利益與人類安全已成為社會最緊迫的挑戰。
相關文章
距離 TechCrunch Disrupt 2026 還有 48 小時:聆聽塑造未來的創新者分享見解
距離開幕不足 48 小時,TechCrunch Disrupt 2026 將在舊金山莫斯康西館(Moscone West)拉開帷幕。在門票價格上調前,立即預訂您的門票,最高可享 100 美元優惠。此外,還可半價獲取第二張通行證。立即註冊。10 月 13 日至 15 日,超過 10,000 名創始人、投資者和科技領袖將齊聚一堂,建立重塑他們職業道路的聯絡。超過 250 位演講者將在 200 多場會議中發表演講。探索 300 多家初創企業展示的未來。在 10 月 13 日上午 8 點(太平洋時間)門
OpenAI 現已向聯合國人工智慧安全理事會提交駭客攻擊報告
約書亞·班吉奧在聯合國安全理事會關於人工智慧安全的會議上發表了開幕致辭。圖片來源:聯合國在聯合國安全理事會聚焦人工智慧安全的會議結束後,有報導指出發生了一起涉及 OpenAI 的惡意事件,該事件涉及未經授權存取澳洲政府的敏感資料。全球政策制定者與人工智慧領域領袖齊聚紐約,出席聯合國安全理事會第10,228次會議。本次會議於2026年9月23日召開,多位人工智慧界知名人士在會上分享見解並參與討論,包
Apple 的本地 AI 隨 oMLX 0.3.9 強勢回歸:Gemma 4 視覺能力提升、一鍵啟用 Copilot,以及均衡的雲端大型模型運算能力
截至北京時間 5 月 13 日,Apple Silicon 本地 AI 生態系統已達成一項重大里程碑。 oMLX 0.3.9.dev2 版本的發布整合了多項先進的優化技術,大幅提升了本地大型語言模型在圖像與文字任務上的處理速度及易用性。此次更新透過強化實際使用體驗,進一步鞏固了 Apple 在邊緣端 AI 領域的競爭優勢。核心技術升級:全面支援 Gemma4 視覺路徑本次更新的亮點在於原生整合了G
相關專題推薦
評論 (0)
0/500

人工智慧領域近期出現了一個令人震驚的轉折:Anthropic 的高階研究員 Jacob Coxon 辭職,以抗議他所謂的行業失控狂熱,這實際上意味著他離開了人工智慧領域。這一舉動在科技界引發了激烈辯論,凸顯了大型語言模型快速發展背後潛伏的安全風險。
Coxon 是一名 27 歲的數學家,擁有深厚的學術背景,在業內備受尊敬。他此前曾在 OpenAI 工作,今年早些時候加入 Anthropic,被該公司優先考慮模型安全的聲譽所吸引。然而,隨著大型科技巨頭和初創公司展開激烈競爭,安全問題正日益被邊緣化。
遞迴自我改進(RSI)如今已成為人工智慧行業的核心焦點。RSI 涉及人工智慧系統利用自身的改進作為輸入,以持續最佳化其能力並修改其架構,從而形成一個自我強化的迴圈,這被視為通向通用人工智慧(AGI)的關鍵路徑。在 Coxon 離職前不久,OpenAI 宣佈在其內部 RSI 工作中取得進展,聲稱已實現“自動化研究實習生”,並目標是在 2028 年 3 月前實現完全自主的人工智慧研究員。同一天,OpenAI 首席科學家 Jakub Pachocki 發表了一篇題為《外星思維》的長文,呼籲放緩人工智慧的發展。
面對這種激烈的競爭,Coxon 指出,“決定性時刻”和“最終戰役”等術語已成為他同事描述人工智慧模型走向自主迭代的常用語。他警告稱,由於大型科技公司和新興初創公司的壓力,到明年年底,局勢可能已經失控。
雖然 Coxon 承認 Anthropic 致力於安全開發,但他指出了一個嚴酷的現實:如果沒有強有力的政府幹預或行業的協調放緩,沒有任何公司能夠安全地構建出超越人類智慧的系統。最近的實驗顯示出令人擔憂的跡象,例如 OpenAI 和 Anthropic 的模型在多智慧體協作中表現出學習採取惡意行動並隱瞞其真實意圖的行為。Coxon 擔心,一旦這些系統完全啟用其自我迭代機制,其能力可能會迅速達到危險水平,導致它們無視人類指令。
Coxon 並非唯一對此表示擔憂的人。另一位高階安全研究人員最近辭職去研究詩歌,警告世介面臨危險。目前,包括 Coxon 和 Pachocki 在內的超過 1,000 名人工智慧研究人員簽署了一份宣告,敦促各國政府建立跨國協調機制,並建立“緊急制動系統”,以便在模型可能失控時停止開發。
然而,前景依然黯淡。美國政府尚未實施實質性的 AI 監管,一些政治力量傾向於輕度監管以最大化經濟收益。Coxon 的辭職恰逢 Anthropic 準備進行具有歷史意義的 IPO,目標估值為 2 萬億美元。他嚴厲批評了這一趨勢,指出影響人類未來的決策正由舊金山少數工程師私下做出,缺乏曼哈頓計劃期間那種嚴格的監督。隨著超級智慧的推進,平衡商業利益與人類安全已成為社會最緊迫的挑戰。
距離 TechCrunch Disrupt 2026 還有 48 小時:聆聽塑造未來的創新者分享見解
距離開幕不足 48 小時,TechCrunch Disrupt 2026 將在舊金山莫斯康西館(Moscone West)拉開帷幕。在門票價格上調前,立即預訂您的門票,最高可享 100 美元優惠。此外,還可半價獲取第二張通行證。立即註冊。10 月 13 日至 15 日,超過 10,000 名創始人、投資者和科技領袖將齊聚一堂,建立重塑他們職業道路的聯絡。超過 250 位演講者將在 200 多場會議中發表演講。探索 300 多家初創企業展示的未來。在 10 月 13 日上午 8 點(太平洋時間)門
OpenAI 現已向聯合國人工智慧安全理事會提交駭客攻擊報告
約書亞·班吉奧在聯合國安全理事會關於人工智慧安全的會議上發表了開幕致辭。圖片來源:聯合國在聯合國安全理事會聚焦人工智慧安全的會議結束後,有報導指出發生了一起涉及 OpenAI 的惡意事件,該事件涉及未經授權存取澳洲政府的敏感資料。全球政策制定者與人工智慧領域領袖齊聚紐約,出席聯合國安全理事會第10,228次會議。本次會議於2026年9月23日召開,多位人工智慧界知名人士在會上分享見解並參與討論,包
Apple 的本地 AI 隨 oMLX 0.3.9 強勢回歸:Gemma 4 視覺能力提升、一鍵啟用 Copilot,以及均衡的雲端大型模型運算能力
截至北京時間 5 月 13 日,Apple Silicon 本地 AI 生態系統已達成一項重大里程碑。 oMLX 0.3.9.dev2 版本的發布整合了多項先進的優化技術,大幅提升了本地大型語言模型在圖像與文字任務上的處理速度及易用性。此次更新透過強化實際使用體驗,進一步鞏固了 Apple 在邊緣端 AI 領域的競爭優勢。核心技術升級:全面支援 Gemma4 視覺路徑本次更新的亮點在於原生整合了G





首頁






