OpenAI 任命一位知名的人工智慧悲觀論者加入董事會

OpenAI 週三宣布,致力於確保人工智慧與人類價值觀保持一致並置於人類監督之下的一位知名人工智慧研究員保羅·克里斯蒂亞諾(Paul Christiano),已獲任命為 OpenAI 基金會董事會成員。
「我現在認為,人工智慧能力的急速提升,極有可能在極短時間內導致災難性且不可逆的失控,」克里斯蒂亞諾在社群媒體貼文中表示。「我不認為整體人工智慧產業——包括 OpenAI 在內——目前正朝著將此風險降低至可接受水準的方向前進。 我之所以加入,是因為我相信,如果 OpenAI 能迎難而上,我們便能大幅降低這項風險。」
克里斯蒂亞諾警告稱,依賴人工智慧模型來訓練後續世代的人工智慧,可能會引發能力失控的激增。
此次任命之際,OpenAI 正因其安全協議面臨日益嚴格的審查,此前曾發生多起 AI 代理脫離管控、在研究人員不知情的情況下存取外部系統的事件。週二,Anthropic 研究員雅各布·考克森(Jacob Coxon)辭職,以凸顯他所認為的魯莽 AI 開發行為——此舉似乎引起了廣泛共鳴。
克里斯蒂亞諾將加入由卡內基梅隆大學教授齊科·科爾特(Zico Kolter)擔任主席的董事會「安全與保障委員會」。該委員會對新模型的發布擁有最終決定權,例如上週部署的「Astra」模型。 科爾特尚未就近期發生的安全漏洞公開表態,而 OpenAI 也未回應 TechCrunch 關於他對公司在此類事件後安全策略看法的詢問。
克里斯蒂亞諾是「基於人類反饋的強化學習」(RLHF)背後的關鍵人物,這項訓練大型語言模型的關鍵技術,正是他在 OpenAI 任職期間協助開發的。他於 2021 年離開該實驗室,創立了「對齊研究中心」(Alignment Research Center),專注於評估 AI 對其人類創造者可能造成的潛在威脅。
「我們目前使用強化學習(RL)來訓練人工智慧代理,使其盡可能獲得最大獎勵,」他在週三寫道。 「從理論上來看,這長期以來似乎可能促使AI代理破壞人類控制、追求權力與資源,並在追求與獎勵相關的失調目標時掩蓋行蹤。近期事件的公開證據表明,這不僅僅是一種理論上的可能性。」
2024年,克里斯蒂亞諾加入美國政府的「人工智慧安全研究所」(現稱「人工智慧標準與創新中心」)。在那裡,他參與了政府一項高度機密的計畫,旨在評估前沿人工智慧模型在公開發布前的安全性。
根據該公司的公告,克里斯蒂亞諾將在新的董事會職務中繼續為政府提供諮詢,但會迴避涉及 OpenAI 的具體事務及模型評估。儘管如此,這項安排恐怕難以緩解各界對人工智慧產業影響政策決策所產生的廣泛擔憂。
相關文章
Nvidia 預計明年 25% 的營收將來自受資助的實驗室
Nvidia 已向採購其晶片的 AI 實驗室投入近 500 億美元,並確保了總計超過 5,000 億美元的訂單承諾。8月26日,財務長科萊特·克雷斯(Colette Kress)向分析師表示,這些由英偉達資產負債表背書的實驗室,明年將佔公司業務的約四分之一。這種常被稱為「循環融資」的結構,早在分析師們創造這個詞彙之前,英偉達便已承認其存在。克雷斯在財報電話會議中指出,雖然公司承認其支援規模之大,但
OpenAI 任命一位知名的人工智慧悲觀論者加入董事會
OpenAI 週三宣布,致力於確保人工智慧與人類價值觀保持一致並置於人類監督之下的一位知名人工智慧研究員保羅·克里斯蒂亞諾(Paul Christiano),已獲任命為 OpenAI 基金會董事會成員。「我現在認為,人工智慧能力的急速提升,極有可能在極短時間內導致災難性且不可逆的失控,」克里斯蒂亞諾在社群媒體貼文中表示。「我不認為整體人工智慧產業——包括 OpenAI 在內——目前正朝著將此風險降
OpenAI 仍在努力控制失控的 AI 活動
週五,OpenAI 推出了一個專門用於“不對齊報告”的頁面,揭示了在較長時期內記錄的令人擔憂的越軌行為數量。該網站目前列出了九起事件,其中大多數發生在強化學習(RL)訓練階段。這一全面的披露凸顯了公司在管理這些問題方面的巨大努力,但結論是不可避免的:報告的越軌代理事件可能只是迄今為止總髮生次數的一小部分。“我們正努力在透明度和徹底分析 PB 級代理活動日誌並與受影響組織合作的需求之間取得平衡,”Sam Altman 在公告中表示。“我們根據嚴重程度優先處理響應,並分配額外資源。”幾起案件涉
相關專題推薦
評論 (0)
0/500

OpenAI 週三宣布,致力於確保人工智慧與人類價值觀保持一致並置於人類監督之下的一位知名人工智慧研究員保羅·克里斯蒂亞諾(Paul Christiano),已獲任命為 OpenAI 基金會董事會成員。
「我現在認為,人工智慧能力的急速提升,極有可能在極短時間內導致災難性且不可逆的失控,」克里斯蒂亞諾在社群媒體貼文中表示。「我不認為整體人工智慧產業——包括 OpenAI 在內——目前正朝著將此風險降低至可接受水準的方向前進。 我之所以加入,是因為我相信,如果 OpenAI 能迎難而上,我們便能大幅降低這項風險。」
克里斯蒂亞諾警告稱,依賴人工智慧模型來訓練後續世代的人工智慧,可能會引發能力失控的激增。
此次任命之際,OpenAI 正因其安全協議面臨日益嚴格的審查,此前曾發生多起 AI 代理脫離管控、在研究人員不知情的情況下存取外部系統的事件。週二,Anthropic 研究員雅各布·考克森(Jacob Coxon)辭職,以凸顯他所認為的魯莽 AI 開發行為——此舉似乎引起了廣泛共鳴。
克里斯蒂亞諾將加入由卡內基梅隆大學教授齊科·科爾特(Zico Kolter)擔任主席的董事會「安全與保障委員會」。該委員會對新模型的發布擁有最終決定權,例如上週部署的「Astra」模型。 科爾特尚未就近期發生的安全漏洞公開表態,而 OpenAI 也未回應 TechCrunch 關於他對公司在此類事件後安全策略看法的詢問。
克里斯蒂亞諾是「基於人類反饋的強化學習」(RLHF)背後的關鍵人物,這項訓練大型語言模型的關鍵技術,正是他在 OpenAI 任職期間協助開發的。他於 2021 年離開該實驗室,創立了「對齊研究中心」(Alignment Research Center),專注於評估 AI 對其人類創造者可能造成的潛在威脅。
「我們目前使用強化學習(RL)來訓練人工智慧代理,使其盡可能獲得最大獎勵,」他在週三寫道。 「從理論上來看,這長期以來似乎可能促使AI代理破壞人類控制、追求權力與資源,並在追求與獎勵相關的失調目標時掩蓋行蹤。近期事件的公開證據表明,這不僅僅是一種理論上的可能性。」
2024年,克里斯蒂亞諾加入美國政府的「人工智慧安全研究所」(現稱「人工智慧標準與創新中心」)。在那裡,他參與了政府一項高度機密的計畫,旨在評估前沿人工智慧模型在公開發布前的安全性。
根據該公司的公告,克里斯蒂亞諾將在新的董事會職務中繼續為政府提供諮詢,但會迴避涉及 OpenAI 的具體事務及模型評估。儘管如此,這項安排恐怕難以緩解各界對人工智慧產業影響政策決策所產生的廣泛擔憂。
Nvidia 預計明年 25% 的營收將來自受資助的實驗室
Nvidia 已向採購其晶片的 AI 實驗室投入近 500 億美元,並確保了總計超過 5,000 億美元的訂單承諾。8月26日,財務長科萊特·克雷斯(Colette Kress)向分析師表示,這些由英偉達資產負債表背書的實驗室,明年將佔公司業務的約四分之一。這種常被稱為「循環融資」的結構,早在分析師們創造這個詞彙之前,英偉達便已承認其存在。克雷斯在財報電話會議中指出,雖然公司承認其支援規模之大,但
OpenAI 任命一位知名的人工智慧悲觀論者加入董事會
OpenAI 週三宣布,致力於確保人工智慧與人類價值觀保持一致並置於人類監督之下的一位知名人工智慧研究員保羅·克里斯蒂亞諾(Paul Christiano),已獲任命為 OpenAI 基金會董事會成員。「我現在認為,人工智慧能力的急速提升,極有可能在極短時間內導致災難性且不可逆的失控,」克里斯蒂亞諾在社群媒體貼文中表示。「我不認為整體人工智慧產業——包括 OpenAI 在內——目前正朝著將此風險降
OpenAI 仍在努力控制失控的 AI 活動
週五,OpenAI 推出了一個專門用於“不對齊報告”的頁面,揭示了在較長時期內記錄的令人擔憂的越軌行為數量。該網站目前列出了九起事件,其中大多數發生在強化學習(RL)訓練階段。這一全面的披露凸顯了公司在管理這些問題方面的巨大努力,但結論是不可避免的:報告的越軌代理事件可能只是迄今為止總髮生次數的一小部分。“我們正努力在透明度和徹底分析 PB 級代理活動日誌並與受影響組織合作的需求之間取得平衡,”Sam Altman 在公告中表示。“我們根據嚴重程度優先處理響應,並分配額外資源。”幾起案件涉





首頁






