Openai的最新AI型號具有新的保障措施,以防止生物風格
OpenAI對AI模型o3與o4-mini的新安全措施
OpenAI為其進階AI模型o3與o4-mini引入了一套新的監控系統,專為檢測並防止回應與生物和化學威脅相關的提示而設計。這種「以安全為核心的推理監控器」是針對這些模型增強功能所做出的回應,根據OpenAI的說法,這些模型相較於其前代產品有了顯著進步,且可能被惡意行為者濫用。
該公司的內部基準顯示,特別是o3在回答關於製造某些生物威脅的問題時表現出更高的熟練度。為了解決這一問題及其他潛在風險,OpenAI開發了這套新系統,與o3及o4-mini一同運作。該系統經過訓練,能識別並拒絕可能導致有害生物和化學風險建議的提示。
測試與結果
為了評估此安全監控器的有效性,OpenAI進行了廣泛的測試。紅隊成員花費大約1,000小時識別由o3及o4-mini生成的「不安全」生物風險相關對話。在模擬監控器的「阻斷邏輯」中,這些模型成功拒絕回應風險提示的比率達98.7%。
然而,OpenAI承認其測試未考慮用戶在被阻斷後可能嘗試不同提示的情況。因此,該公司計劃繼續使用人工監控作為其安全策略的一部分。
風險評估與持續監控
儘管具有進階功能,o3與o4-mini並未超過OpenAI對生物風險的「高風險」門檻。然而,這些模型的早期版本在回答關於開發生物武器的問題時,與o1及GPT-4相比更為熟練。OpenAI正積極監控這些模型可能如何促進化學和生物威脅的發展,如其更新的準備框架所述。

來自o3與o4-mini系統卡的圖表(截圖:OpenAI) OpenAI日益依賴自動化系統來管理其模型帶來的風險。例如,類似的推理監控器被用於防止GPT-4o的圖像生成器產生兒童性虐待材料(CSAM)。
關注與批評
儘管有這些努力,一些研究人員認為OpenAI可能未足夠重視安全。OpenAI的紅隊合作夥伴之一Metr指出,他們測試o3的欺騙行為的時間有限。此外,OpenAI選擇不為其最近推出的GPT-4.1模型發布安全報告,這進一步引發了對該公司透明度與安全承諾的關注。
相關文章
OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
NEA的蒂芙尼·拉克:企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候,“token最大化”(tokenmaxxing)在矽谷佔據主導地位,執行長們敦促員工最大限度地利用人工智慧。然而,這種熱情很快遭遇了現實。據報道,Uber在幾個月內就超出了其年度人工智慧預算,一些公司跨部門削減了Claude許可證,而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克(Tiffany Luck)每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來,如今她完全專注於人工智慧,特別是其為消費者創造“神奇時刻”的潛力。
相關專題推薦
評論 (6)
0/500
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
OpenAIの新しい安全機能は素晴らしいですね!生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI!😊
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
OpenAI對AI模型o3與o4-mini的新安全措施
OpenAI為其進階AI模型o3與o4-mini引入了一套新的監控系統,專為檢測並防止回應與生物和化學威脅相關的提示而設計。這種「以安全為核心的推理監控器」是針對這些模型增強功能所做出的回應,根據OpenAI的說法,這些模型相較於其前代產品有了顯著進步,且可能被惡意行為者濫用。
該公司的內部基準顯示,特別是o3在回答關於製造某些生物威脅的問題時表現出更高的熟練度。為了解決這一問題及其他潛在風險,OpenAI開發了這套新系統,與o3及o4-mini一同運作。該系統經過訓練,能識別並拒絕可能導致有害生物和化學風險建議的提示。
測試與結果
為了評估此安全監控器的有效性,OpenAI進行了廣泛的測試。紅隊成員花費大約1,000小時識別由o3及o4-mini生成的「不安全」生物風險相關對話。在模擬監控器的「阻斷邏輯」中,這些模型成功拒絕回應風險提示的比率達98.7%。
然而,OpenAI承認其測試未考慮用戶在被阻斷後可能嘗試不同提示的情況。因此,該公司計劃繼續使用人工監控作為其安全策略的一部分。
風險評估與持續監控
儘管具有進階功能,o3與o4-mini並未超過OpenAI對生物風險的「高風險」門檻。然而,這些模型的早期版本在回答關於開發生物武器的問題時,與o1及GPT-4相比更為熟練。OpenAI正積極監控這些模型可能如何促進化學和生物威脅的發展,如其更新的準備框架所述。

OpenAI日益依賴自動化系統來管理其模型帶來的風險。例如,類似的推理監控器被用於防止GPT-4o的圖像生成器產生兒童性虐待材料(CSAM)。
關注與批評
儘管有這些努力,一些研究人員認為OpenAI可能未足夠重視安全。OpenAI的紅隊合作夥伴之一Metr指出,他們測試o3的欺騙行為的時間有限。此外,OpenAI選擇不為其最近推出的GPT-4.1模型發布安全報告,這進一步引發了對該公司透明度與安全承諾的關注。
OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
NEA的蒂芙尼·拉克:企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候,“token最大化”(tokenmaxxing)在矽谷佔據主導地位,執行長們敦促員工最大限度地利用人工智慧。然而,這種熱情很快遭遇了現實。據報道,Uber在幾個月內就超出了其年度人工智慧預算,一些公司跨部門削減了Claude許可證,而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克(Tiffany Luck)每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來,如今她完全專注於人工智慧,特別是其為消費者創造“神奇時刻”的潛力。
Wow, OpenAI's new safety measures for o3 and o4-mini sound like a big step! It's reassuring to see them tackling biorisks head-on. But I wonder, how foolproof is this monitoring system? 🤔 Could it catch every sneaky prompt?
OpenAIの新しい安全機能は素晴らしいですね!生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI!😊
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊





首頁






