Fei-Fei Li的團體敦促先發製人的AI安全立法

一份由加州政策小組發布的新報告,由AI先驅李飛飛共同領導,建議立法者在制定AI監管政策時,應考慮尚未在現實世界中出現的AI風險。這份41頁的臨時報告於週二發布,來自加州AI前沿模型聯合政策工作小組,該小組由州長加文·紐森在否決加州備受爭議的AI安全法案SB 1047後設立。紐森認為SB 1047未能完全達到目標,但他認識到需要深入研究AI風險以指導立法者。
在報告中,李飛飛與共同作者——加州大學伯克利分校計算學院院長Jennifer Chayes和卡內基國際和平基金會主席Mariano-Florentino Cuéllar——推動制定法律,使像OpenAI這樣的前沿AI實驗室的工作更加透明。在報告公開前,來自各行各業的業界人士進行了審查,包括支持AI安全的圖靈獎得主Yoshua Bengio,以及反對SB 1047的Databricks共同創始人Ion Stoica。
報告指出,AI系統的新風險可能意味著需要制定法律,要求AI模型開發者公開其安全測試、數據獲取方式和安全措施。報告還呼籲制定更好的第三方檢查標準,涵蓋這些內容以及公司政策,並為AI公司員工和承包商提供更多吹哨者保護。
李飛飛及其共同作者提到,目前還沒有足夠證據證明AI在協助網絡攻擊、製造生物武器或引發其他“極端”危險方面的潛力。但他們也表示,AI政策不應僅處理當前發生的事情,還應考慮如果缺乏足夠安全措施,未來可能發生的情況。
報告以核武器為例,說道:“我們不需要看到核武器爆炸就知道它可能造成巨大傷害。”報告繼續說道:“如果那些談論最壞風險的人是對的——我們不確定他們是否正確——那麼現在不對前沿AI採取任何行動可能代價高昂。”
為了使AI模型開發更加公開,報告建議採取“信任但需驗證”的方法。它表示,AI模型開發者及其員工應有途徑報告對公眾重要的事項,如內部安全測試,並且必須由第三方驗證其測試聲明。
這份報告將於2025年6月最終定稿,雖然未支持任何具體法律,但已獲得AI政策辯論雙方專家的好評。
喬治梅森大學專注於AI的研究員Dean Ball反對SB 1047,他在X上表示,這份報告是加州AI安全規則的積極進展。根據加州參議員Scott Wiener的說法,這也是AI安全倡導者的勝利,Wiener去年提出了SB 1047。他在一份新聞稿中表示,這份報告為“我們在2024年立法機構中開始的AI治理緊急討論”增添了內容。
報告似乎同意SB 1047及Wiener的下一項法案SB 53的部分內容,如要求AI模型開發者報告其安全測試結果。從更廣泛的角度看,這對AI安全人士來說是一個急需的勝利,他們的想法在過去一年中一直在失去支持。
相關文章
印度科技巨頭投資3000萬美元,打造微軟Office的AI競爭對手
連續創業者 Bhavin Turakhia 正投入 3000 萬美元自有資金,押注企業 AI 領域仍有新玩家的空間。他最新的創業專案 Neo 基於一個核心信念:傳統的職場軟體不能僅靠聊天機器人進行修補,而需要進行徹底的架構重構。46 歲的 Turakhia 有著支援雄心勃勃的企業科技專案的歷史。在過去二十年中,他聯合創立了 Directi、Radix、Titan 和 Zeta,在尋求外部投資之前,主要使用個人資本為這些專案提供資金。他正將同樣的自力更生策略應用於 Neo。Turakhia 向
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI應用開發平臺Lovable宣佈參與丹麥硬體初創公司Atech的80萬美元種子輪融資。該輪由Lovable領投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在內的頂級風險投資機構。此次投資標誌著Lovable將“Vibe Coding”概念從純軟體開發戰略擴充套件至硬體工程領域。Atech旨在透過AI驅動的互動式平臺簡化複雜的硬體原型製作。使用者購買基礎硬體套件,並透過AI聊天機器人以自然語言描述其設計概念;系統
相關專題推薦
評論 (39)
0/500
Interesting read! It's refreshing to see a call for proactive legislation instead of the usual reactive scramble after something goes wrong. The idea of regulating potential, unseen risks is tricky though—how do you write laws for hypotheticals without stifling innovation? 🤔 Still, having Fei-Fei Li's group weigh in adds serious credibility. Hope policymakers actually listen this time.
Enfin une approche proactive ! Les risques futurs de l'IA méritent qu'on s'y intéresse avant qu'il ne soit trop tard. Espérons que les législateurs sauront trouver un équilibre entre innovation et sécurité 🧠
This report sounds like a bold move! 😎 Fei-Fei Li’s team pushing for proactive AI laws is smart, but I wonder if lawmakers can keep up with tech’s pace. Preemptive rules could spark innovation or just create red tape. What do you all think?
Fei-Fei Li’s group is onto something big here! Proactive AI safety laws sound smart, but I wonder if lawmakers can keep up with tech’s pace. 🤔 Risky moves need bold rules!
O grupo de Fei-Fei Li sugerindo leis de segurança para IA antes mesmo de vermos os riscos? Parece proativo, mas também meio assustador! 🤔 Como se preparar para uma tempestade que pode nunca chegar. Ainda assim, melhor prevenir do que remediar, certo? Talvez devessem focar nos problemas atuais também? Só um pensamento! 😅
¿El grupo de Fei-Fei Li proponiendo leyes de seguridad para la IA antes de que veamos los riesgos? Suena proactivo pero también un poco aterrador! 🤔 Como prepararse para una tormenta que tal vez nunca llegue. Sin embargo, más vale prevenir que lamentar, ¿verdad? Tal vez deberían enfocarse también en los problemas actuales? Solo es un pensamiento! 😅

一份由加州政策小組發布的新報告,由AI先驅李飛飛共同領導,建議立法者在制定AI監管政策時,應考慮尚未在現實世界中出現的AI風險。這份41頁的臨時報告於週二發布,來自加州AI前沿模型聯合政策工作小組,該小組由州長加文·紐森在否決加州備受爭議的AI安全法案SB 1047後設立。紐森認為SB 1047未能完全達到目標,但他認識到需要深入研究AI風險以指導立法者。
在報告中,李飛飛與共同作者——加州大學伯克利分校計算學院院長Jennifer Chayes和卡內基國際和平基金會主席Mariano-Florentino Cuéllar——推動制定法律,使像OpenAI這樣的前沿AI實驗室的工作更加透明。在報告公開前,來自各行各業的業界人士進行了審查,包括支持AI安全的圖靈獎得主Yoshua Bengio,以及反對SB 1047的Databricks共同創始人Ion Stoica。
報告指出,AI系統的新風險可能意味著需要制定法律,要求AI模型開發者公開其安全測試、數據獲取方式和安全措施。報告還呼籲制定更好的第三方檢查標準,涵蓋這些內容以及公司政策,並為AI公司員工和承包商提供更多吹哨者保護。
李飛飛及其共同作者提到,目前還沒有足夠證據證明AI在協助網絡攻擊、製造生物武器或引發其他“極端”危險方面的潛力。但他們也表示,AI政策不應僅處理當前發生的事情,還應考慮如果缺乏足夠安全措施,未來可能發生的情況。
報告以核武器為例,說道:“我們不需要看到核武器爆炸就知道它可能造成巨大傷害。”報告繼續說道:“如果那些談論最壞風險的人是對的——我們不確定他們是否正確——那麼現在不對前沿AI採取任何行動可能代價高昂。”
為了使AI模型開發更加公開,報告建議採取“信任但需驗證”的方法。它表示,AI模型開發者及其員工應有途徑報告對公眾重要的事項,如內部安全測試,並且必須由第三方驗證其測試聲明。
這份報告將於2025年6月最終定稿,雖然未支持任何具體法律,但已獲得AI政策辯論雙方專家的好評。
喬治梅森大學專注於AI的研究員Dean Ball反對SB 1047,他在X上表示,這份報告是加州AI安全規則的積極進展。根據加州參議員Scott Wiener的說法,這也是AI安全倡導者的勝利,Wiener去年提出了SB 1047。他在一份新聞稿中表示,這份報告為“我們在2024年立法機構中開始的AI治理緊急討論”增添了內容。
報告似乎同意SB 1047及Wiener的下一項法案SB 53的部分內容,如要求AI模型開發者報告其安全測試結果。從更廣泛的角度看,這對AI安全人士來說是一個急需的勝利,他們的想法在過去一年中一直在失去支持。
印度科技巨頭投資3000萬美元,打造微軟Office的AI競爭對手
連續創業者 Bhavin Turakhia 正投入 3000 萬美元自有資金,押注企業 AI 領域仍有新玩家的空間。他最新的創業專案 Neo 基於一個核心信念:傳統的職場軟體不能僅靠聊天機器人進行修補,而需要進行徹底的架構重構。46 歲的 Turakhia 有著支援雄心勃勃的企業科技專案的歷史。在過去二十年中,他聯合創立了 Directi、Radix、Titan 和 Zeta,在尋求外部投資之前,主要使用個人資本為這些專案提供資金。他正將同樣的自力更生策略應用於 Neo。Turakhia 向
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI應用開發平臺Lovable宣佈參與丹麥硬體初創公司Atech的80萬美元種子輪融資。該輪由Lovable領投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在內的頂級風險投資機構。此次投資標誌著Lovable將“Vibe Coding”概念從純軟體開發戰略擴充套件至硬體工程領域。Atech旨在透過AI驅動的互動式平臺簡化複雜的硬體原型製作。使用者購買基礎硬體套件,並透過AI聊天機器人以自然語言描述其設計概念;系統
Interesting read! It's refreshing to see a call for proactive legislation instead of the usual reactive scramble after something goes wrong. The idea of regulating potential, unseen risks is tricky though—how do you write laws for hypotheticals without stifling innovation? 🤔 Still, having Fei-Fei Li's group weigh in adds serious credibility. Hope policymakers actually listen this time.
Enfin une approche proactive ! Les risques futurs de l'IA méritent qu'on s'y intéresse avant qu'il ne soit trop tard. Espérons que les législateurs sauront trouver un équilibre entre innovation et sécurité 🧠
This report sounds like a bold move! 😎 Fei-Fei Li’s team pushing for proactive AI laws is smart, but I wonder if lawmakers can keep up with tech’s pace. Preemptive rules could spark innovation or just create red tape. What do you all think?
Fei-Fei Li’s group is onto something big here! Proactive AI safety laws sound smart, but I wonder if lawmakers can keep up with tech’s pace. 🤔 Risky moves need bold rules!
O grupo de Fei-Fei Li sugerindo leis de segurança para IA antes mesmo de vermos os riscos? Parece proativo, mas também meio assustador! 🤔 Como se preparar para uma tempestade que pode nunca chegar. Ainda assim, melhor prevenir do que remediar, certo? Talvez devessem focar nos problemas atuais também? Só um pensamento! 😅
¿El grupo de Fei-Fei Li proponiendo leyes de seguridad para la IA antes de que veamos los riesgos? Suena proactivo pero también un poco aterrador! 🤔 Como prepararse para una tormenta que tal vez nunca llegue. Sin embargo, más vale prevenir que lamentar, ¿verdad? Tal vez deberían enfocarse también en los problemas actuales? Solo es un pensamiento! 😅





首頁






