Openai के नवीनतम AI मॉडल में बायोरिस्क को रोकने के लिए एक नया सुरक्षा है
AI मॉडल O3 और O4-Mini के लिए Openai के नए सुरक्षा उपाय
Openai ने अपने उन्नत AI मॉडल, O3 और O4-Mini के लिए एक नई निगरानी प्रणाली पेश की है, जिसे विशेष रूप से जैविक और रासायनिक खतरों से संबंधित संकेतों के लिए प्रतिक्रियाओं का पता लगाने और रोकने के लिए डिज़ाइन किया गया है। यह "सुरक्षा-केंद्रित रीज़निंग मॉनिटर" इन मॉडलों की बढ़ी हुई क्षमताओं के लिए एक प्रतिक्रिया है, जो ओपनई के अनुसार, अपने पूर्ववर्तियों से एक महत्वपूर्ण कदम का प्रतिनिधित्व करता है और दुर्भावनापूर्ण अभिनेताओं द्वारा दुरुपयोग किया जा सकता है।
कंपनी के आंतरिक बेंचमार्क से संकेत मिलता है कि ओ 3, विशेष रूप से, कुछ जैविक खतरों को बनाने के बारे में सवालों के जवाब देने में एक उच्च दक्षता दिखाई गई है। इस और अन्य संभावित जोखिमों को संबोधित करने के लिए, Openai ने इस नई प्रणाली को विकसित किया, जो O3 और O4-Mini के साथ संचालित होता है। यह उन संकेतों को पहचानने और अस्वीकार करने के लिए प्रशिक्षित है जो जैविक और रासायनिक जोखिमों पर हानिकारक सलाह दे सकते हैं।
परीक्षण और परिणाम
इस सुरक्षा मॉनिटर की प्रभावशीलता का अनुमान लगाने के लिए, Openai ने व्यापक परीक्षण किया। रेड टीमर्स ने ओ 3 और ओ 4-मिनी द्वारा उत्पन्न "असुरक्षित" बायोरिस्क-संबंधित वार्तालापों की पहचान करने में लगभग 1,000 घंटे बिताए। मॉनिटर के "ब्लॉकिंग लॉजिक" के सिमुलेशन में, मॉडल ने 98.7% समय के जोखिमपूर्ण संकेतों का जवाब देने के लिए सफलतापूर्वक अस्वीकार कर दिया।
हालांकि, Openai ने स्वीकार किया कि उनके परीक्षण ने उन परिदृश्यों पर विचार नहीं किया जहां उपयोगकर्ता अवरुद्ध होने के बाद अलग -अलग संकेतों का प्रयास कर सकते हैं। नतीजतन, कंपनी ने अपनी सुरक्षा रणनीति के हिस्से के रूप में मानव निगरानी का उपयोग जारी रखने की योजना बनाई है।
जोखिम मूल्यांकन और चल रही निगरानी
उनकी उन्नत क्षमताओं के बावजूद, O3 और O4-Mini Biorisks के लिए Openai की "उच्च जोखिम" सीमा से अधिक नहीं है। फिर भी, इन मॉडलों के शुरुआती संस्करण O1 और GPT-4 की तुलना में जैविक हथियारों के विकास के बारे में सवालों के जवाब देने में अधिक माहिर थे। Openai सक्रिय रूप से निगरानी कर रहा है कि ये मॉडल रासायनिक और जैविक खतरों के विकास को कैसे सुविधाजनक बना सकते हैं, जैसा कि उनके अद्यतन तैयारी ढांचे में उल्लिखित है।
O3 और O4-Mini के सिस्टम कार्ड से चार्ट (स्क्रीनशॉट: Openai)
Openai तेजी से अपने मॉडलों द्वारा उत्पन्न जोखिमों का प्रबंधन करने के लिए स्वचालित प्रणालियों की ओर रुख कर रहा है। उदाहरण के लिए, GPT-4O के छवि जनरेटर को बाल यौन शोषण सामग्री (CSAM) के उत्पादन से रोकने के लिए एक समान तर्क मॉनिटर का उपयोग किया जाता है।
चिंता और आलोचना
इन प्रयासों के बावजूद, कुछ शोधकर्ताओं का तर्क है कि Openai पर्याप्त सुरक्षा को प्राथमिकता नहीं दे सकता है। Openai के रेड-टीमिंग पार्टनर्स, METR में से एक, ने कहा कि उनके पास भ्रामक व्यवहार के लिए O3 का परीक्षण करने के लिए सीमित समय था। इसके अतिरिक्त, Openai ने अपनी हाल ही में लॉन्च किए गए GPT-4.1 मॉडल के लिए एक सुरक्षा रिपोर्ट जारी नहीं करने के लिए चुना, जिससे पारदर्शिता और सुरक्षा के लिए कंपनी की प्रतिबद्धता के बारे में और चिंताएं बढ़ गईं।
संबंधित लेख
OpenAI升级其Operator Agent的AI模型
OpenAI将Operator智能体推向新高度OpenAI正为其自主AI智能体Operator进行重大升级。此次更新意味着Operator将很快采用基于o3模型的架构——这是OpenAI尖端o系列推理模型的最新成员。此前Operator一直基于定制版GPT-4o运行，但这次迭代将带来显著提升。o3模型的突破性意义在数学与逻辑推理任务中，o3几乎在所有指标上都
OpenAI的o3 AI模型在基准测试中的得分低于最初暗示的水平
为什么基准测试差异在人工智能领域很重要？在人工智能领域，数字往往能讲述故事——有时，这些数字并不能完全匹配。以OpenAI的o3模型为例。最初的声明令人震惊：o3据说能够处理超过25%的著名难题FrontierMath问题。作为对比，竞争对手的成绩停留在个位数。但快进到最近的发展情况，备受尊敬的研究机构Epoch AI对此提出了质疑。他们的研究结果显示，o3
DeepSeek AI挑战Chatgpt并塑造了AI的未来
DeepSeek AI的兴起：AI Landscapeart人工智能中的新篇章一直处于不断变化状态，新参与者每天都在挑战现状。其中，DeepSeek AI已成为著名的竞争者，尤其是在App Store下载中超过Chatgpt之后。这个mi
सूचना (5)
0/200
![JamesWilliams]()
JamesWilliams
24 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
0
![StephenGreen]()
StephenGreen
24 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
OpenAIの新しい安全機能は素晴らしいですね！生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI！😊
0
![LarryMartin]()
LarryMartin
19 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
OpenAI의 새로운 안전 기능 정말 대단해요! 생물학적 위험을 방지하기 위한 모니터링 시스템이 있다는 게 안심되네요. 다만, 무해한 질문까지 차단되는 경우가 있어서 조금 아쉽습니다. 그래도 안전이 최우선이죠. 계속해서 좋은 일 하세요, OpenAI! 😊
0
![CharlesMartinez]()
CharlesMartinez
21 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
0
![CharlesJohnson]()
CharlesJohnson
21 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
0
AI मॉडल O3 और O4-Mini के लिए Openai के नए सुरक्षा उपाय
Openai ने अपने उन्नत AI मॉडल, O3 और O4-Mini के लिए एक नई निगरानी प्रणाली पेश की है, जिसे विशेष रूप से जैविक और रासायनिक खतरों से संबंधित संकेतों के लिए प्रतिक्रियाओं का पता लगाने और रोकने के लिए डिज़ाइन किया गया है। यह "सुरक्षा-केंद्रित रीज़निंग मॉनिटर" इन मॉडलों की बढ़ी हुई क्षमताओं के लिए एक प्रतिक्रिया है, जो ओपनई के अनुसार, अपने पूर्ववर्तियों से एक महत्वपूर्ण कदम का प्रतिनिधित्व करता है और दुर्भावनापूर्ण अभिनेताओं द्वारा दुरुपयोग किया जा सकता है।
कंपनी के आंतरिक बेंचमार्क से संकेत मिलता है कि ओ 3, विशेष रूप से, कुछ जैविक खतरों को बनाने के बारे में सवालों के जवाब देने में एक उच्च दक्षता दिखाई गई है। इस और अन्य संभावित जोखिमों को संबोधित करने के लिए, Openai ने इस नई प्रणाली को विकसित किया, जो O3 और O4-Mini के साथ संचालित होता है। यह उन संकेतों को पहचानने और अस्वीकार करने के लिए प्रशिक्षित है जो जैविक और रासायनिक जोखिमों पर हानिकारक सलाह दे सकते हैं।
परीक्षण और परिणाम
इस सुरक्षा मॉनिटर की प्रभावशीलता का अनुमान लगाने के लिए, Openai ने व्यापक परीक्षण किया। रेड टीमर्स ने ओ 3 और ओ 4-मिनी द्वारा उत्पन्न "असुरक्षित" बायोरिस्क-संबंधित वार्तालापों की पहचान करने में लगभग 1,000 घंटे बिताए। मॉनिटर के "ब्लॉकिंग लॉजिक" के सिमुलेशन में, मॉडल ने 98.7% समय के जोखिमपूर्ण संकेतों का जवाब देने के लिए सफलतापूर्वक अस्वीकार कर दिया।
हालांकि, Openai ने स्वीकार किया कि उनके परीक्षण ने उन परिदृश्यों पर विचार नहीं किया जहां उपयोगकर्ता अवरुद्ध होने के बाद अलग -अलग संकेतों का प्रयास कर सकते हैं। नतीजतन, कंपनी ने अपनी सुरक्षा रणनीति के हिस्से के रूप में मानव निगरानी का उपयोग जारी रखने की योजना बनाई है।
जोखिम मूल्यांकन और चल रही निगरानी
उनकी उन्नत क्षमताओं के बावजूद, O3 और O4-Mini Biorisks के लिए Openai की "उच्च जोखिम" सीमा से अधिक नहीं है। फिर भी, इन मॉडलों के शुरुआती संस्करण O1 और GPT-4 की तुलना में जैविक हथियारों के विकास के बारे में सवालों के जवाब देने में अधिक माहिर थे। Openai सक्रिय रूप से निगरानी कर रहा है कि ये मॉडल रासायनिक और जैविक खतरों के विकास को कैसे सुविधाजनक बना सकते हैं, जैसा कि उनके अद्यतन तैयारी ढांचे में उल्लिखित है।
Openai तेजी से अपने मॉडलों द्वारा उत्पन्न जोखिमों का प्रबंधन करने के लिए स्वचालित प्रणालियों की ओर रुख कर रहा है। उदाहरण के लिए, GPT-4O के छवि जनरेटर को बाल यौन शोषण सामग्री (CSAM) के उत्पादन से रोकने के लिए एक समान तर्क मॉनिटर का उपयोग किया जाता है।
चिंता और आलोचना
इन प्रयासों के बावजूद, कुछ शोधकर्ताओं का तर्क है कि Openai पर्याप्त सुरक्षा को प्राथमिकता नहीं दे सकता है। Openai के रेड-टीमिंग पार्टनर्स, METR में से एक, ने कहा कि उनके पास भ्रामक व्यवहार के लिए O3 का परीक्षण करने के लिए सीमित समय था। इसके अतिरिक्त, Openai ने अपनी हाल ही में लॉन्च किए गए GPT-4.1 मॉडल के लिए एक सुरक्षा रिपोर्ट जारी नहीं करने के लिए चुना, जिससे पारदर्शिता और सुरक्षा के लिए कंपनी की प्रतिबद्धता के बारे में और चिंताएं बढ़ गईं।
OpenAI升级其Operator Agent的AI模型
OpenAI将Operator智能体推向新高度OpenAI正为其自主AI智能体Operator进行重大升级。此次更新意味着Operator将很快采用基于o3模型的架构——这是OpenAI尖端o系列推理模型的最新成员。此前Operator一直基于定制版GPT-4o运行，但这次迭代将带来显著提升。o3模型的突破性意义在数学与逻辑推理任务中，o3几乎在所有指标上都
OpenAI的o3 AI模型在基准测试中的得分低于最初暗示的水平
为什么基准测试差异在人工智能领域很重要？在人工智能领域，数字往往能讲述故事——有时，这些数字并不能完全匹配。以OpenAI的o3模型为例。最初的声明令人震惊：o3据说能够处理超过25%的著名难题FrontierMath问题。作为对比，竞争对手的成绩停留在个位数。但快进到最近的发展情况，备受尊敬的研究机构Epoch AI对此提出了质疑。他们的研究结果显示，o3
DeepSeek AI挑战Chatgpt并塑造了AI的未来
DeepSeek AI的兴起：AI Landscapeart人工智能中的新篇章一直处于不断变化状态，新参与者每天都在挑战现状。其中，DeepSeek AI已成为著名的竞争者，尤其是在App Store下载中超过Chatgpt之后。这个mi
24 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
0
24 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
OpenAIの新しい安全機能は素晴らしいですね！生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI！😊
0
19 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
OpenAI의 새로운 안전 기능 정말 대단해요! 생물학적 위험을 방지하기 위한 모니터링 시스템이 있다는 게 안심되네요. 다만, 무해한 질문까지 차단되는 경우가 있어서 조금 아쉽습니다. 그래도 안전이 최우선이죠. 계속해서 좋은 일 하세요, OpenAI! 😊
0
21 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
0
21 अप्रैल 2025 12:00:00 पूर्वाह्न GMT
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
0
