Openai的最新AI型号具有新的保障措施，以防止生物风格
OpenAI为AI模型o3和o4-mini推出的新安全措施
OpenAI为其先进AI模型o3和o4-mini引入了新的监控系统，专门设计用于检测和防止回应与生物和化学威胁相关的提示。这种“以安全为重点的推理监控器”是针对这些模型增强功能的回应，据OpenAI称，这些模型相较于其前代产品有了显著提升，可能被恶意行为者滥用。
公司内部基准测试表明，特别是o3在回答关于制造某些生物威胁的问题时表现出更高的熟练度。为了应对这一风险及其他潜在风险，OpenAI开发了这一新系统，该系统与o3和o4-mini一同运行。它被训练来识别并拒绝可能导致有害生物和化学风险建议的提示。
测试与结果
为了评估这一安全监控器的有效性，OpenAI进行了广泛的测试。红队成员花费大约1000小时识别由o3和o4-mini生成的“非安全”生物风险相关对话。在监控器的“阻止逻辑”模拟中，模型成功拒绝了98.7%的风险提示。
然而，OpenAI承认，他们的测试并未考虑用户在被阻止后可能尝试不同提示的场景。因此，公司计划继续将人工监控作为其安全策略的一部分。
风险评估与持续监控
尽管具备先进功能，o3和o4-mini并未超过OpenAI对生物风险的“高风险”阈值。然而，这些模型的早期版本在回答关于开发生物武器的问题时，相比o1和GPT-4表现出更强的能力。OpenAI正在积极监控这些模型可能如何促进化学和生物威胁的发展，正如其更新的准备框架中所概述。
o3和o4-mini系统卡中的图表（截图：OpenAI） OpenAI越来越倾向于使用自动化系统来管理其模型带来的风险。例如，类似的推理监控器被用于防止GPT-4o的图像生成器产生儿童性虐待材料（CSAM）。
担忧与批评
尽管做出了这些努力，一些研究人员认为OpenAI可能未足够重视安全。OpenAI的红队合作伙伴之一Metr指出，他们测试o3的欺骗行为时间有限。此外，OpenAI选择不为其最近推出的GPT-4.1模型发布安全报告，这进一步引发了对其透明度和安全承诺的担忧。
相关文章
前OpenAI工程师分享公司文化与快速增长的见解
三周前，为OpenAI关键产品做出贡献的工程师Calvin French-Owen离开公司。他最近发表了一篇引人入胜的博客，详细描述了在OpenAI的一年，包括开发Codex的紧张努力，Codex是一个与Cursor和Anthropic的Claude Code竞争的编码代理。French-Owen澄清，他的离开并非因内部冲突，而是源于回归创业生活的愿望。他之前共同创立了Segment，一家2020
谷歌发布面向生产环境的Gemini 2.5 AI模型，挑战企业市场中的OpenAI
谷歌周一加码其AI战略，推出面向企业使用的先进Gemini 2.5模型，并引入成本效益更高的变体，以在价格和性能上展开竞争。这家隶属于Alphabet的公司将其旗舰AI模型——Gemini 2.5 Pro和Gemini 2.5 Flash——从测试阶段提升至全面可用，展示其在关键业务应用中的准备就绪。同时，谷歌推出了Gemini 2.5 Flash-Lite，定位为高容量任务中最具预算友好性的选择
Meta为AI人才提供高薪，否认1亿美元签约奖金
Meta正以数百万美元的丰厚薪酬吸引AI研究人员加入其新的超级智能实验室。然而，一位被招募的研究人员和泄露的内部会议言论表示，关于1亿美元“签约奖金”的说法不实。据The Verge周四报道，在一次泄露的公司全体会议上，Meta高管回应了关于OpenAI首席执行官Sam Altman声称Meta向顶尖研究人员提供奖金的问题。Meta的首席技术官Andrew Bosworth表示，只有极少数高级领导
评论 (6)
0/200
![EricScott]()
EricScott
2025-08-05 11:00:59
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
0
![StephenGreen]()
StephenGreen
2025-04-24 21:48:28
OpenAIの新しい安全機能は素晴らしいですね！生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI！😊
0
![JamesWilliams]()
JamesWilliams
2025-04-24 10:12:57
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
0
![CharlesJohnson]()
CharlesJohnson
2025-04-21 12:03:02
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
0
![CharlesMartinez]()
CharlesMartinez
2025-04-21 00:27:25
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
0
![LarryMartin]()
LarryMartin
2025-04-19 20:10:22
OpenAI의 새로운 안전 기능 정말 대단해요! 생물학적 위험을 방지하기 위한 모니터링 시스템이 있다는 게 안심되네요. 다만, 무해한 질문까지 차단되는 경우가 있어서 조금 아쉽습니다. 그래도 안전이 최우선이죠. 계속해서 좋은 일 하세요, OpenAI! 😊
0
OpenAI为AI模型o3和o4-mini推出的新安全措施
OpenAI为其先进AI模型o3和o4-mini引入了新的监控系统，专门设计用于检测和防止回应与生物和化学威胁相关的提示。这种“以安全为重点的推理监控器”是针对这些模型增强功能的回应，据OpenAI称，这些模型相较于其前代产品有了显著提升，可能被恶意行为者滥用。
公司内部基准测试表明，特别是o3在回答关于制造某些生物威胁的问题时表现出更高的熟练度。为了应对这一风险及其他潜在风险，OpenAI开发了这一新系统，该系统与o3和o4-mini一同运行。它被训练来识别并拒绝可能导致有害生物和化学风险建议的提示。
测试与结果
为了评估这一安全监控器的有效性，OpenAI进行了广泛的测试。红队成员花费大约1000小时识别由o3和o4-mini生成的“非安全”生物风险相关对话。在监控器的“阻止逻辑”模拟中，模型成功拒绝了98.7%的风险提示。
然而，OpenAI承认，他们的测试并未考虑用户在被阻止后可能尝试不同提示的场景。因此，公司计划继续将人工监控作为其安全策略的一部分。
风险评估与持续监控
尽管具备先进功能，o3和o4-mini并未超过OpenAI对生物风险的“高风险”阈值。然而，这些模型的早期版本在回答关于开发生物武器的问题时，相比o1和GPT-4表现出更强的能力。OpenAI正在积极监控这些模型可能如何促进化学和生物威胁的发展，正如其更新的准备框架中所概述。
OpenAI越来越倾向于使用自动化系统来管理其模型带来的风险。例如，类似的推理监控器被用于防止GPT-4o的图像生成器产生儿童性虐待材料（CSAM）。
担忧与批评
尽管做出了这些努力，一些研究人员认为OpenAI可能未足够重视安全。OpenAI的红队合作伙伴之一Metr指出，他们测试o3的欺骗行为时间有限。此外，OpenAI选择不为其最近推出的GPT-4.1模型发布安全报告，这进一步引发了对其透明度和安全承诺的担忧。
前OpenAI工程师分享公司文化与快速增长的见解
三周前，为OpenAI关键产品做出贡献的工程师Calvin French-Owen离开公司。他最近发表了一篇引人入胜的博客，详细描述了在OpenAI的一年，包括开发Codex的紧张努力，Codex是一个与Cursor和Anthropic的Claude Code竞争的编码代理。French-Owen澄清，他的离开并非因内部冲突，而是源于回归创业生活的愿望。他之前共同创立了Segment，一家2020
谷歌发布面向生产环境的Gemini 2.5 AI模型，挑战企业市场中的OpenAI
谷歌周一加码其AI战略，推出面向企业使用的先进Gemini 2.5模型，并引入成本效益更高的变体，以在价格和性能上展开竞争。这家隶属于Alphabet的公司将其旗舰AI模型——Gemini 2.5 Pro和Gemini 2.5 Flash——从测试阶段提升至全面可用，展示其在关键业务应用中的准备就绪。同时，谷歌推出了Gemini 2.5 Flash-Lite，定位为高容量任务中最具预算友好性的选择
Meta为AI人才提供高薪，否认1亿美元签约奖金
Meta正以数百万美元的丰厚薪酬吸引AI研究人员加入其新的超级智能实验室。然而，一位被招募的研究人员和泄露的内部会议言论表示，关于1亿美元“签约奖金”的说法不实。据The Verge周四报道，在一次泄露的公司全体会议上，Meta高管回应了关于OpenAI首席执行官Sam Altman声称Meta向顶尖研究人员提供奖金的问题。Meta的首席技术官Andrew Bosworth表示，只有极少数高级领导
2025-08-05 11:00:59
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
0
2025-04-24 21:48:28
OpenAIの新しい安全機能は素晴らしいですね！生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI！😊
0
2025-04-24 10:12:57
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
0
2025-04-21 12:03:02
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
0
2025-04-21 00:27:25
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
0
2025-04-19 20:10:22
OpenAI의 새로운 안전 기능 정말 대단해요! 생물학적 위험을 방지하기 위한 모니터링 시스템이 있다는 게 안심되네요. 다만, 무해한 질문까지 차단되는 경우가 있어서 조금 아쉽습니다. 그래도 안전이 최우선이죠. 계속해서 좋은 일 하세요, OpenAI! 😊
0
