Anthropic 執行長力推銀行式 AI 規範,專家警告不宜身兼「球員」與「裁判」雙重角色

據 CNBC 報導,Anthropic 執行長達里奧·阿莫迪(Dario Amodei)建議在領先的人工智慧企業內部設置長期獨立的第三方安全評估人員,賦予他們近乎內部風險團隊的訪問權限,並授權其在有限制的情況下獨立公布評估結果。 他明確以嵌入式銀行監管機構為例,並承諾 Anthropic 將為第三方評估人員提供與內部風險團隊同等的系統存取權限。
阿莫迪在上週末發表的一篇長文中還警告,在未來 6 至 12 個月內,一群目標不一致的智能代理可能接管大部分的互聯網,並造成數千億美元的損失。 此前,Anthropic 前研究員雅各布·考克森(Jacob Coxon)辭職時曾警告,領先的實驗室正競相開發可能失控的系統。
銀行檢查員可關閉銀行,但 AI 評估員卻無否決權
多位銀行監管專家與人工智慧評估專業人士指出,這項提案缺乏銀行監管機構所擁有的執法權力。懷俄明大學法學院院長茱莉·安德森·希爾(Julie Andersen Hill)表示,政府稽查員常駐大型銀行,可指示銀行停止特定活動、限制成長、強制更換管理層,甚至在極端情況下關閉銀行。 然而,阿莫迪(Amodei)所提議的評估員僅能進行調查並提交報告,無權阻止模型的訓練或發布。「這是根本性的差異,因為銀行監管機構的權力要大得多。」
網路安全公司 XBOW 的人工智慧負責人阿爾伯特·齊格勒(Albert Ziegler)指出,黑盒測試雖能揭示模型是否具備執行危險任務的能力,但重大風險可能僅會出現在評估員從未觸發過的條件組合中。 「我們實際上並無否決權。」評估員雖可迫使企業在發布前做出知情決策,但最終決策權仍掌握在企業手中。
質疑「獨立性」:METR 的角色與「審計洗白」的批評
阿莫迪(Amodei)將非營利組織 METR 列為潛在的嵌入式評估機構,而另一位前 Anthropic 研究員喬·本頓(Joe Benton)近期也離職加入 METR。 加州大學柏克萊分校的研究員黛博拉·拉吉(Deborah Raji)指出,此種安排涉及財務、意識形態及個人利益的衝突,且 METR 近年來主要聚焦於 Anthropic 和 OpenAI,這「導致各種奇怪的事情發生」。 她認為,僅僅獲得審計權限並不等同於獨立性,應由一家獨立於該公司的機構來決定誰具備評估資格、可以檢查哪些內容,以及結果應向何處報告。否則,「這就像公司僱用一位老朋友來檢查自己的作業一樣。」
拉吉(Raji)表示,最終的標準在於負面發現是否會引發後果——「如果進行審計卻毫無後果,那就是『審計洗白』。」希爾(Hill)則表示:「如果你真的相信人工智慧有摧毀社會的力量,那麼就必須有一位能夠切斷電源的獨立監督者。」
Anthropic 的公共政策總監莎拉·赫克(Sarah Heck)週三回應稱,AI 公司無法僅憑「榮譽守則」來管理監督與安全問題:「我們無法自我檢查作業,這一點非常明確。」
相關文章
這位創投為何認為 2026 年將是「消費者的年」
自 2022 年以來,消費科技新創公司的融資狀況持續低迷,主因是宏觀經濟波動與持續通膨,使風險投資者對消費者的消費力感到猶豫。過去幾年來,人工智慧領域的資金主要瞄準企業客戶,原因在於企業客戶擁有龐大的預算、多年期的合約,以及更快的規模化機會。 然而,有位風險投資人預測,消費科技領域將在2026年重現生機。 「這將是消費者的年份,」Premise 合夥人暨前 NEA 合夥人 Vaness
劉振雲、馬毅談人工智慧時代:機器處理共通之處,人類守護個體性
隨著人工智慧日益精進,人類還能扮演什麼角色?9月10日上午,2026年「包容·外灘論壇」在上海拉開帷幕,舉行了開幕式及主論壇。 在隨後的圓桌討論中,知名作家劉振雲與香港大學計算與數據科學學院院長馬毅教授,從文學與科技的雙重視角出發,探討人工智慧如何重塑創造力、教育、就業及人際關係。兩位講者均未持悲觀立場。劉振雲形容人工智慧「並非怪物」,而馬毅則強調,核心問題不在於我們是否應該使用人工智慧,而在於我
微信支付推出智慧眼鏡 SDK;Rokid 成為首個相容品牌
微信已正式推出微信支付智慧眼鏡 SDK,使其全面開放使用。此解決方案將微信核心的「掃碼支付」功能整合至標準 SDK 中,供符合特定標準的智慧眼鏡製造商使用。這讓使用者能夠直接在相容的智慧眼鏡上流暢地完成支付。 目前,Rokid Leqi AI 智慧眼鏡是首款完成適配並上線的產品。啟用與日常支付流程若要首次使用智慧眼鏡的「掃碼支付」功能,使用者必須透過製造商的手機應用程式申請啟用。隨後系統將將其導向
相關專題推薦
評論 (0)
0/500

據 CNBC 報導,Anthropic 執行長達里奧·阿莫迪(Dario Amodei)建議在領先的人工智慧企業內部設置長期獨立的第三方安全評估人員,賦予他們近乎內部風險團隊的訪問權限,並授權其在有限制的情況下獨立公布評估結果。 他明確以嵌入式銀行監管機構為例,並承諾 Anthropic 將為第三方評估人員提供與內部風險團隊同等的系統存取權限。
阿莫迪在上週末發表的一篇長文中還警告,在未來 6 至 12 個月內,一群目標不一致的智能代理可能接管大部分的互聯網,並造成數千億美元的損失。 此前,Anthropic 前研究員雅各布·考克森(Jacob Coxon)辭職時曾警告,領先的實驗室正競相開發可能失控的系統。
銀行檢查員可關閉銀行,但 AI 評估員卻無否決權
多位銀行監管專家與人工智慧評估專業人士指出,這項提案缺乏銀行監管機構所擁有的執法權力。懷俄明大學法學院院長茱莉·安德森·希爾(Julie Andersen Hill)表示,政府稽查員常駐大型銀行,可指示銀行停止特定活動、限制成長、強制更換管理層,甚至在極端情況下關閉銀行。 然而,阿莫迪(Amodei)所提議的評估員僅能進行調查並提交報告,無權阻止模型的訓練或發布。「這是根本性的差異,因為銀行監管機構的權力要大得多。」
網路安全公司 XBOW 的人工智慧負責人阿爾伯特·齊格勒(Albert Ziegler)指出,黑盒測試雖能揭示模型是否具備執行危險任務的能力,但重大風險可能僅會出現在評估員從未觸發過的條件組合中。 「我們實際上並無否決權。」評估員雖可迫使企業在發布前做出知情決策,但最終決策權仍掌握在企業手中。
質疑「獨立性」:METR 的角色與「審計洗白」的批評
阿莫迪(Amodei)將非營利組織 METR 列為潛在的嵌入式評估機構,而另一位前 Anthropic 研究員喬·本頓(Joe Benton)近期也離職加入 METR。 加州大學柏克萊分校的研究員黛博拉·拉吉(Deborah Raji)指出,此種安排涉及財務、意識形態及個人利益的衝突,且 METR 近年來主要聚焦於 Anthropic 和 OpenAI,這「導致各種奇怪的事情發生」。 她認為,僅僅獲得審計權限並不等同於獨立性,應由一家獨立於該公司的機構來決定誰具備評估資格、可以檢查哪些內容,以及結果應向何處報告。否則,「這就像公司僱用一位老朋友來檢查自己的作業一樣。」
拉吉(Raji)表示,最終的標準在於負面發現是否會引發後果——「如果進行審計卻毫無後果,那就是『審計洗白』。」希爾(Hill)則表示:「如果你真的相信人工智慧有摧毀社會的力量,那麼就必須有一位能夠切斷電源的獨立監督者。」
Anthropic 的公共政策總監莎拉·赫克(Sarah Heck)週三回應稱,AI 公司無法僅憑「榮譽守則」來管理監督與安全問題:「我們無法自我檢查作業,這一點非常明確。」
這位創投為何認為 2026 年將是「消費者的年」
自 2022 年以來,消費科技新創公司的融資狀況持續低迷,主因是宏觀經濟波動與持續通膨,使風險投資者對消費者的消費力感到猶豫。過去幾年來,人工智慧領域的資金主要瞄準企業客戶,原因在於企業客戶擁有龐大的預算、多年期的合約,以及更快的規模化機會。 然而,有位風險投資人預測,消費科技領域將在2026年重現生機。 「這將是消費者的年份,」Premise 合夥人暨前 NEA 合夥人 Vaness
劉振雲、馬毅談人工智慧時代:機器處理共通之處,人類守護個體性
隨著人工智慧日益精進,人類還能扮演什麼角色?9月10日上午,2026年「包容·外灘論壇」在上海拉開帷幕,舉行了開幕式及主論壇。 在隨後的圓桌討論中,知名作家劉振雲與香港大學計算與數據科學學院院長馬毅教授,從文學與科技的雙重視角出發,探討人工智慧如何重塑創造力、教育、就業及人際關係。兩位講者均未持悲觀立場。劉振雲形容人工智慧「並非怪物」,而馬毅則強調,核心問題不在於我們是否應該使用人工智慧,而在於我
微信支付推出智慧眼鏡 SDK;Rokid 成為首個相容品牌
微信已正式推出微信支付智慧眼鏡 SDK,使其全面開放使用。此解決方案將微信核心的「掃碼支付」功能整合至標準 SDK 中,供符合特定標準的智慧眼鏡製造商使用。這讓使用者能夠直接在相容的智慧眼鏡上流暢地完成支付。 目前,Rokid Leqi AI 智慧眼鏡是首款完成適配並上線的產品。啟用與日常支付流程若要首次使用智慧眼鏡的「掃碼支付」功能,使用者必須透過製造商的手機應用程式申請啟用。隨後系統將將其導向





首頁






