Fei-Fei Li的团体敦促先发制人的AI安全立法

一份由加利福尼亚州政策小组发布的新报告,由AI先锋李飞飞共同领导,建议立法者在制定AI监管政策时应考虑尚未在现实世界中出现的AI风险。这份41页的临时报告于周二发布,来自加利福尼亚州AI前沿模型联合政策工作小组,该小组由州长加文·纽森在否决了加州备受争议的AI安全法案SB 1047后设立。纽森认为SB 1047未能完全达到目标,但他认识到需要更深入地研究AI风险以指导立法者。
在报告中,李飞飞与共同作者——加州大学伯克利分校计算学院院长詹妮弗·查耶斯和卡内基国际和平基金会主席马里亚诺-弗洛伦蒂诺·库埃拉尔——主张制定法律,使OpenAI等前沿AI实验室的活动更加透明。在报告公开之前,来自各行各业的行业人士对其进行了审阅,包括图灵奖得主约书亚·本吉奥等强烈支持AI安全的倡导者,以及反对SB 1047的人士,如Databricks联合创始人伊恩·斯托伊卡。
报告指出,AI系统的新风险可能意味着我们需要制定法律,要求AI模型开发者公开其安全测试、数据获取方式以及安全措施。报告还呼吁制定更好的第三方检查标准,涵盖这些内容及公司政策,并为AI公司员工和承包商提供更多保护,以支持他们进行举报。
李飞飞及其共同作者提到,目前尚无足够证据证明AI在协助网络攻击、制造生物武器或其他“极端”危险方面的潜力。但他们也表示,AI政策不应仅关注当前发生的事情,还应考虑未来如果缺乏足够安全措施可能发生的情况。
报告以核武器为例,称:“我们无需看到核武器爆炸就知道它可能造成巨大危害。”报告继续指出:“如果那些讨论最坏风险的人是对的——我们不确定他们是否正确——那么现在不对前沿AI采取任何行动可能会付出巨大代价。”
为使AI模型开发更加公开,报告建议采取“信任但需验证”的方法。报告表示,AI模型开发者及其员工应有途径向公众报告重要事项,如内部安全测试,并需由第三方验证其测试声明。
虽然这份将于2025年6月最终定稿的报告未支持任何具体法律,但它在AI政策辩论双方专家中均受到好评。
乔治梅森大学专注于AI的研究员迪恩·鲍尔反对SB 1047,他在X上表示,这份报告为加州的AI安全规则迈出了积极一步。据加州州参议员斯科特·威纳介绍,这对AI安全倡导者来说也是一次胜利,他去年提出了SB 1047。威纳在一份新闻发布会上表示,这份报告为“我们在2024年立法机构中开始的关于AI治理的紧急讨论”增添了内容。
报告似乎部分同意SB 1047及威纳的下一项法案SB 53的内容,如要求AI模型开发者报告其安全测试结果。从更宏观的角度看,这对AI安全倡导者来说是一次急需的胜利,他们的理念在过去一年中逐渐失去影响力。
相关文章
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI应用开发平台Lovable宣布参与丹麦硬件初创公司Atech的80万美元种子轮融资。该轮由Lovable领投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在内的顶级风险投资机构。此次投资标志着Lovable将“Vibe Coding”概念从纯软件开发战略扩展至硬件工程领域。Atech旨在通过AI驱动的交互式平台简化复杂的硬件原型制作。用户购买基础硬件套件,并通过AI聊天机器人以自然语言描述其设计概念;系统
Anthropic 将 Claude AI 编码工具扩展至日本,以推动海外增长
Anthropic,一家美国知名的人工智能公司,正加强其全球推广力度。周三,该公司在东京举办了一场大型开发者活动“Code with Claude”,吸引了近500名软件工程师参加。该举措旨在积极将Claude AI工具及相关产品引入日本市场,强调其自主编码能力在提升企业生产力方面的核心优势。强调自动化代码生成在活动中,Anthropic展示了其先进的自主编码系统,该系统能够独立处理复杂的编程任务并优化现有代码结构。随着全球对高效开发工具的需求不断增长,Anthropic希望通过此类活动加强
印度软件巨头缩减招聘,承诺随着 AI 代理规模扩大不裁员
随着人工智能重塑传统的劳动密集型商业模式,印度领先的软件外包公司塔塔咨询服务公司(TCS)公布了其战略应对措施。在周二的年度股东大会上,董事长概述了人机协作的愿景,并澄清了公司在人工智能时代的人力资源战略。不裁员,但招聘将放缓TCS董事长明确表示,公司没有因采用人工智能而裁员的计划,尽管整体招聘速度将放缓。虽然TCS此前减少了超过10,000名员工,但官员们强调,公司现在更倾向于通过自然流失来优化其人员结构,而非突然裁员。高层管理人员指出,以前由人类处理的重复性、机械性任务正不可避免地转向
相关专题推荐
评论 (39)
0/500
Interesting read! It's refreshing to see a call for proactive legislation instead of the usual reactive scramble after something goes wrong. The idea of regulating potential, unseen risks is tricky though—how do you write laws for hypotheticals without stifling innovation? 🤔 Still, having Fei-Fei Li's group weigh in adds serious credibility. Hope policymakers actually listen this time.
Enfin une approche proactive ! Les risques futurs de l'IA méritent qu'on s'y intéresse avant qu'il ne soit trop tard. Espérons que les législateurs sauront trouver un équilibre entre innovation et sécurité 🧠
This report sounds like a bold move! 😎 Fei-Fei Li’s team pushing for proactive AI laws is smart, but I wonder if lawmakers can keep up with tech’s pace. Preemptive rules could spark innovation or just create red tape. What do you all think?
Fei-Fei Li’s group is onto something big here! Proactive AI safety laws sound smart, but I wonder if lawmakers can keep up with tech’s pace. 🤔 Risky moves need bold rules!
O grupo de Fei-Fei Li sugerindo leis de segurança para IA antes mesmo de vermos os riscos? Parece proativo, mas também meio assustador! 🤔 Como se preparar para uma tempestade que pode nunca chegar. Ainda assim, melhor prevenir do que remediar, certo? Talvez devessem focar nos problemas atuais também? Só um pensamento! 😅
¿El grupo de Fei-Fei Li proponiendo leyes de seguridad para la IA antes de que veamos los riesgos? Suena proactivo pero también un poco aterrador! 🤔 Como prepararse para una tormenta que tal vez nunca llegue. Sin embargo, más vale prevenir que lamentar, ¿verdad? Tal vez deberían enfocarse también en los problemas actuales? Solo es un pensamiento! 😅

一份由加利福尼亚州政策小组发布的新报告,由AI先锋李飞飞共同领导,建议立法者在制定AI监管政策时应考虑尚未在现实世界中出现的AI风险。这份41页的临时报告于周二发布,来自加利福尼亚州AI前沿模型联合政策工作小组,该小组由州长加文·纽森在否决了加州备受争议的AI安全法案SB 1047后设立。纽森认为SB 1047未能完全达到目标,但他认识到需要更深入地研究AI风险以指导立法者。
在报告中,李飞飞与共同作者——加州大学伯克利分校计算学院院长詹妮弗·查耶斯和卡内基国际和平基金会主席马里亚诺-弗洛伦蒂诺·库埃拉尔——主张制定法律,使OpenAI等前沿AI实验室的活动更加透明。在报告公开之前,来自各行各业的行业人士对其进行了审阅,包括图灵奖得主约书亚·本吉奥等强烈支持AI安全的倡导者,以及反对SB 1047的人士,如Databricks联合创始人伊恩·斯托伊卡。
报告指出,AI系统的新风险可能意味着我们需要制定法律,要求AI模型开发者公开其安全测试、数据获取方式以及安全措施。报告还呼吁制定更好的第三方检查标准,涵盖这些内容及公司政策,并为AI公司员工和承包商提供更多保护,以支持他们进行举报。
李飞飞及其共同作者提到,目前尚无足够证据证明AI在协助网络攻击、制造生物武器或其他“极端”危险方面的潜力。但他们也表示,AI政策不应仅关注当前发生的事情,还应考虑未来如果缺乏足够安全措施可能发生的情况。
报告以核武器为例,称:“我们无需看到核武器爆炸就知道它可能造成巨大危害。”报告继续指出:“如果那些讨论最坏风险的人是对的——我们不确定他们是否正确——那么现在不对前沿AI采取任何行动可能会付出巨大代价。”
为使AI模型开发更加公开,报告建议采取“信任但需验证”的方法。报告表示,AI模型开发者及其员工应有途径向公众报告重要事项,如内部安全测试,并需由第三方验证其测试声明。
虽然这份将于2025年6月最终定稿的报告未支持任何具体法律,但它在AI政策辩论双方专家中均受到好评。
乔治梅森大学专注于AI的研究员迪恩·鲍尔反对SB 1047,他在X上表示,这份报告为加州的AI安全规则迈出了积极一步。据加州州参议员斯科特·威纳介绍,这对AI安全倡导者来说也是一次胜利,他去年提出了SB 1047。威纳在一份新闻发布会上表示,这份报告为“我们在2024年立法机构中开始的关于AI治理的紧急讨论”增添了内容。
报告似乎部分同意SB 1047及威纳的下一项法案SB 53的内容,如要求AI模型开发者报告其安全测试结果。从更宏观的角度看,这对AI安全倡导者来说是一次急需的胜利,他们的理念在过去一年中逐渐失去影响力。
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI应用开发平台Lovable宣布参与丹麦硬件初创公司Atech的80万美元种子轮融资。该轮由Lovable领投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在内的顶级风险投资机构。此次投资标志着Lovable将“Vibe Coding”概念从纯软件开发战略扩展至硬件工程领域。Atech旨在通过AI驱动的交互式平台简化复杂的硬件原型制作。用户购买基础硬件套件,并通过AI聊天机器人以自然语言描述其设计概念;系统
Anthropic 将 Claude AI 编码工具扩展至日本,以推动海外增长
Anthropic,一家美国知名的人工智能公司,正加强其全球推广力度。周三,该公司在东京举办了一场大型开发者活动“Code with Claude”,吸引了近500名软件工程师参加。该举措旨在积极将Claude AI工具及相关产品引入日本市场,强调其自主编码能力在提升企业生产力方面的核心优势。强调自动化代码生成在活动中,Anthropic展示了其先进的自主编码系统,该系统能够独立处理复杂的编程任务并优化现有代码结构。随着全球对高效开发工具的需求不断增长,Anthropic希望通过此类活动加强
印度软件巨头缩减招聘,承诺随着 AI 代理规模扩大不裁员
随着人工智能重塑传统的劳动密集型商业模式,印度领先的软件外包公司塔塔咨询服务公司(TCS)公布了其战略应对措施。在周二的年度股东大会上,董事长概述了人机协作的愿景,并澄清了公司在人工智能时代的人力资源战略。不裁员,但招聘将放缓TCS董事长明确表示,公司没有因采用人工智能而裁员的计划,尽管整体招聘速度将放缓。虽然TCS此前减少了超过10,000名员工,但官员们强调,公司现在更倾向于通过自然流失来优化其人员结构,而非突然裁员。高层管理人员指出,以前由人类处理的重复性、机械性任务正不可避免地转向
Interesting read! It's refreshing to see a call for proactive legislation instead of the usual reactive scramble after something goes wrong. The idea of regulating potential, unseen risks is tricky though—how do you write laws for hypotheticals without stifling innovation? 🤔 Still, having Fei-Fei Li's group weigh in adds serious credibility. Hope policymakers actually listen this time.
Enfin une approche proactive ! Les risques futurs de l'IA méritent qu'on s'y intéresse avant qu'il ne soit trop tard. Espérons que les législateurs sauront trouver un équilibre entre innovation et sécurité 🧠
This report sounds like a bold move! 😎 Fei-Fei Li’s team pushing for proactive AI laws is smart, but I wonder if lawmakers can keep up with tech’s pace. Preemptive rules could spark innovation or just create red tape. What do you all think?
Fei-Fei Li’s group is onto something big here! Proactive AI safety laws sound smart, but I wonder if lawmakers can keep up with tech’s pace. 🤔 Risky moves need bold rules!
O grupo de Fei-Fei Li sugerindo leis de segurança para IA antes mesmo de vermos os riscos? Parece proativo, mas também meio assustador! 🤔 Como se preparar para uma tempestade que pode nunca chegar. Ainda assim, melhor prevenir do que remediar, certo? Talvez devessem focar nos problemas atuais também? Só um pensamento! 😅
¿El grupo de Fei-Fei Li proponiendo leyes de seguridad para la IA antes de que veamos los riesgos? Suena proactivo pero también un poco aterrador! 🤔 Como prepararse para una tormenta que tal vez nunca llegue. Sin embargo, más vale prevenir que lamentar, ¿verdad? Tal vez deberían enfocarse también en los problemas actuales? Solo es un pensamiento! 😅





首页






