AI 競賽:極速與安全能否兼顧?
OpenAI 研究人員針對競爭對手的 AI 安全性批評,揭露了更深層次的產業鬥爭 - 一場與自己的戰鬥。
事情的起因是哈佛教授 Boaz Barak(目前正在休假,在 OpenAI 研究安全問題)稱 xAI 發布的 Grok 模型「完全不負責任」。他的批評並非針對其吸引眼球的反常行為,而是其缺失之處:公開的系統卡、詳細的安全評估,以及已成為脆弱產業規範的基本透明度。
這是一個明確而必要的行動呼籲。然而,前 OpenAI 工程師 Calvin French-Owen 在離職僅三週後發表的一篇坦率反省,卻揭露了故事的另一面。
French-Owen的描述顯示,有相當多的OpenAI員工確實專注於安全問題,處理非常真實的威脅,例如仇恨演說、生化武器與自我傷害。然而,他提出了一個重要的見解:「大部分的工作都沒有發表,」他寫道,並補充說,OpenAI「確實應該做更多的工作,將它公諸於世。
在這裡,一個負責任的行為者譴責一個不負責任的行為者的簡單敘述不攻自破。取而代之的是,我們看到了這個產業真正的困境。整個人工智慧產業陷入了「安全與速度的悖論」(Safety-Velocity Paradox),即以極快的速度向前邁進的競爭壓力,與謹慎行事以保障人類安全的道德責任之間,存在著深刻的結構性衝突。
根據 French-Owen 的說法,OpenAI 的營運處於一種受控的混亂狀態。該公司在短短一年內,員工人數增加了兩倍,達到 3,000 多人,「擴張速度如此之快,一切都會崩潰」。這種混亂的能量是由他所形容的人工智慧「三馬競跑」的巨大壓力所驅動,直接與 Google 和 Anthropic 競爭。其結果是一種以驚人的速度,同時也以隱密性所定義的文化。
考慮到 Codex 的發展,OpenAI 的編碼代理。French-Owen 將這個專案形容為「瘋狂的衝刺」(madd-dash sprint),一個小團隊在短短七週內從零開始打造了一個突破性的產品。
這是速度的教科書式範例--為了實現這個目標,他們每天工作到午夜,甚至連週末也不例外。這就是這種速度所帶來的人力代價。在如此快速的環境中,難怪發表人工智慧安全研究的緩慢、有條不紊的工作,會讓人覺得是在分心比賽。
這個悖論並非源自惡意,而是來自強大且相互關聯的力量。
爭先恐後的競爭壓力顯而易見。還有這些實驗室的文化基因,它們起源於非正式的「科學家與工匠」社群,重視突破性的創新,而非系統化的流程。此外,還有一個基本的衡量問題:追蹤速度和績效很容易,但量化成功避免的災難卻異常困難。
在現今的會議室中,看得見的進步指標幾乎總是比看不到的安全成就更重要。然而,為了讓業界向前邁進,重點必須從譴責轉為從根本上改變遊戲規則。
我們必須重新定義推出產品的意義,讓安全案例的發表與規範本身一樣不可或缺。我們需要全產業性的標準,以確保任何公司都不會因為勤勉盡責而在競爭中處於劣勢,將安全從一個可有可无的功能轉變為一個共同的、不容爭議的基礎。
最重要的是,我們必須在 AI 實驗室中培養一種文化,讓每一位工程師,不只是安全部門的工程師,都能感受到責任感。
創造 AGI 的競賽不僅關係到誰先達成目標,還關係到我們如何達成目標。最終的贏家並不只是速度最快的公司,而是能夠向世界展現雄心與責任感可以、也必須共同進步的公司。
另請參閱:Anthropic、OpenAI、Google 和 xAI 獲得軍事 AI 合約
想要向業界領導者瞭解更多關於 AI 和大資料的資訊嗎?看看在阿姆斯特丹、加州和倫敦舉行的 AI & Big Data Expo。這項綜合活動與其他領導會議同地舉行,包括智慧自動化會議 (Intelligent Automation Conference)、BlockX、數位轉型週 (Digital Transformation Week),以及網路安全與雲端博覽會 (Cyber Security & Cloud Expo)。
在此探索 TechForge 提供的其他即將舉行的企業技術活動和網路研討會。
相關文章
華納音樂收購AI歸因初創公司Sureel AI
華納音樂集團(WMG)於週三確認,其正在收購Sureel AI,一家專注於人工智慧歸因的初創公司。Sureel的專有技術為音樂曲目生成“AI DNA”,將其分解為各個組成部分,以追蹤人工智慧模型如何利用這些元素。透過此次收購,WMG旨在增強其監控其藝術家和詞曲創作者的作品在人工智慧生成內容中被使用或用於訓練人工智慧模型的能力。“將Sureel整合到WMG中,增強了我們的保護、控制和變現能力,確保創意社羣保留對其智慧財產權、姓名、肖像、形象和聲音的控制權,”WMG執行長Robert Kync
亞馬遜推出“Alexa for Shopping”,同時將Rufus邊緣化
亞馬遜推出了“Alexa for Shopping”,將 Rufus 購物聊天機器人 Alexa+ 整合到應用程式、網站和 Echo Show 裝置中。該助手回答產品查詢、比較商品、跟蹤價格,並支援購物提醒。它還處理計劃中的購物操作和符合條件的自動購買。據該公司稱,“Alexa for Shopping”將 Rufus 的產品專業知識與 Alexa+ 的個性化助手上下文相結合。亞馬遜表示,Rufus 在 2025 年協助了超過 3 億客戶進行產品研究、比較和購買。GeekWire 報道稱,
微軟、Azure 與 AI 技術共同對抗加州野火風險
微軟投資於人工智慧驅動的野火偵測技術,其首席副總裁暨首席數據科學家胡安·拉維斯塔·費雷斯(Juan Lavista Ferres)針對減輕環境損害的策略進行了探討。根據美國國家航空暨太空總署(NASA)指出,氣候變遷影響地球上的每個人,其表現為氣溫上升、降雨模式改變以及海平面上升。NASA 指出,有確鑿證據顯示地球正以前所未有的速度變暖,而人類活動是主要驅動因素。隨著全球氣溫上升,野火構成的威脅日
相關專題推薦
評論 (2)
0/500
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?
OpenAI 研究人員針對競爭對手的 AI 安全性批評,揭露了更深層次的產業鬥爭 - 一場與自己的戰鬥。
事情的起因是哈佛教授 Boaz Barak(目前正在休假,在 OpenAI 研究安全問題)稱 xAI 發布的 Grok 模型「完全不負責任」。他的批評並非針對其吸引眼球的反常行為,而是其缺失之處:公開的系統卡、詳細的安全評估,以及已成為脆弱產業規範的基本透明度。
這是一個明確而必要的行動呼籲。然而,前 OpenAI 工程師 Calvin French-Owen 在離職僅三週後發表的一篇坦率反省,卻揭露了故事的另一面。
French-Owen的描述顯示,有相當多的OpenAI員工確實專注於安全問題,處理非常真實的威脅,例如仇恨演說、生化武器與自我傷害。然而,他提出了一個重要的見解:「大部分的工作都沒有發表,」他寫道,並補充說,OpenAI「確實應該做更多的工作,將它公諸於世。
在這裡,一個負責任的行為者譴責一個不負責任的行為者的簡單敘述不攻自破。取而代之的是,我們看到了這個產業真正的困境。整個人工智慧產業陷入了「安全與速度的悖論」(Safety-Velocity Paradox),即以極快的速度向前邁進的競爭壓力,與謹慎行事以保障人類安全的道德責任之間,存在著深刻的結構性衝突。
根據 French-Owen 的說法,OpenAI 的營運處於一種受控的混亂狀態。該公司在短短一年內,員工人數增加了兩倍,達到 3,000 多人,「擴張速度如此之快,一切都會崩潰」。這種混亂的能量是由他所形容的人工智慧「三馬競跑」的巨大壓力所驅動,直接與 Google 和 Anthropic 競爭。其結果是一種以驚人的速度,同時也以隱密性所定義的文化。
考慮到 Codex 的發展,OpenAI 的編碼代理。French-Owen 將這個專案形容為「瘋狂的衝刺」(madd-dash sprint),一個小團隊在短短七週內從零開始打造了一個突破性的產品。
這是速度的教科書式範例--為了實現這個目標,他們每天工作到午夜,甚至連週末也不例外。這就是這種速度所帶來的人力代價。在如此快速的環境中,難怪發表人工智慧安全研究的緩慢、有條不紊的工作,會讓人覺得是在分心比賽。
這個悖論並非源自惡意,而是來自強大且相互關聯的力量。
爭先恐後的競爭壓力顯而易見。還有這些實驗室的文化基因,它們起源於非正式的「科學家與工匠」社群,重視突破性的創新,而非系統化的流程。此外,還有一個基本的衡量問題:追蹤速度和績效很容易,但量化成功避免的災難卻異常困難。
在現今的會議室中,看得見的進步指標幾乎總是比看不到的安全成就更重要。然而,為了讓業界向前邁進,重點必須從譴責轉為從根本上改變遊戲規則。
我們必須重新定義推出產品的意義,讓安全案例的發表與規範本身一樣不可或缺。我們需要全產業性的標準,以確保任何公司都不會因為勤勉盡責而在競爭中處於劣勢,將安全從一個可有可无的功能轉變為一個共同的、不容爭議的基礎。
最重要的是,我們必須在 AI 實驗室中培養一種文化,讓每一位工程師,不只是安全部門的工程師,都能感受到責任感。
創造 AGI 的競賽不僅關係到誰先達成目標,還關係到我們如何達成目標。最終的贏家並不只是速度最快的公司,而是能夠向世界展現雄心與責任感可以、也必須共同進步的公司。
另請參閱:Anthropic、OpenAI、Google 和 xAI 獲得軍事 AI 合約
想要向業界領導者瞭解更多關於 AI 和大資料的資訊嗎?看看在阿姆斯特丹、加州和倫敦舉行的 AI & Big Data Expo。這項綜合活動與其他領導會議同地舉行,包括智慧自動化會議 (Intelligent Automation Conference)、BlockX、數位轉型週 (Digital Transformation Week),以及網路安全與雲端博覽會 (Cyber Security & Cloud Expo)。
在此探索 TechForge 提供的其他即將舉行的企業技術活動和網路研討會。
華納音樂收購AI歸因初創公司Sureel AI
華納音樂集團(WMG)於週三確認,其正在收購Sureel AI,一家專注於人工智慧歸因的初創公司。Sureel的專有技術為音樂曲目生成“AI DNA”,將其分解為各個組成部分,以追蹤人工智慧模型如何利用這些元素。透過此次收購,WMG旨在增強其監控其藝術家和詞曲創作者的作品在人工智慧生成內容中被使用或用於訓練人工智慧模型的能力。“將Sureel整合到WMG中,增強了我們的保護、控制和變現能力,確保創意社羣保留對其智慧財產權、姓名、肖像、形象和聲音的控制權,”WMG執行長Robert Kync
微軟、Azure 與 AI 技術共同對抗加州野火風險
微軟投資於人工智慧驅動的野火偵測技術,其首席副總裁暨首席數據科學家胡安·拉維斯塔·費雷斯(Juan Lavista Ferres)針對減輕環境損害的策略進行了探討。根據美國國家航空暨太空總署(NASA)指出,氣候變遷影響地球上的每個人,其表現為氣溫上升、降雨模式改變以及海平面上升。NASA 指出,有確鑿證據顯示地球正以前所未有的速度變暖,而人類活動是主要驅動因素。隨著全球氣溫上升,野火構成的威脅日
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?





首頁






