OpenAi의 최신 AI 모델에는 생물을 방지하기위한 새로운 보호 장치가 있습니다.
AI 모델 O3 및 O4-MINI에 대한 OpenAi의 새로운 안전 조치
OpenAI는 고급 AI 모델 인 O3 및 O4-MINI에 대한 새로운 모니터링 시스템을 도입했으며, 특히 생물학적 및 화학적 위협과 관련된 프롬프트에 대한 반응을 감지하고 방지하도록 설계되었습니다. 이 "안전 중심의 추론 모니터"는 이러한 모델의 향상된 기능에 대한 반응으로, OpenAI에 따르면 이전 모델로부터 중요한 단계를 나타내고 악의적 인 행위자에 의해 오용 될 수 있습니다.
이 회사의 내부 벤치 마크에 따르면 특히 O3은 특정 생물학적 위협 만들기에 대한 질문에 대한 답변에 더 높은 능력을 보였습니다. 이과 다른 잠재적 위험을 해결하기 위해 OpenAi는 O3 및 O4-MINI와 함께 작동하는이 새로운 시스템을 개발했습니다. 생물학적 및 화학적 위험에 대한 유해한 조언으로 이어질 수있는 프롬프트를 인식하고 거부하도록 훈련되었습니다.
테스트 및 결과
이 안전 모니터의 효과를 측정하기 위해 OpenAI는 광범위한 테스트를 수행했습니다. Red Teamers는 O3 및 O4-Mini가 생성 한 "안전하지 않은"생물 리스크 관련 대화를 식별하는 데 약 1,000 시간을 보냈습니다. 모니터의 "차단 로직"의 시뮬레이션에서 모델은 위험에 처한 프롬프트 98.7%에 대한 응답을 성공적으로 거부했습니다.
그러나 OpenAI는 테스트가 사용자가 차단 된 후 다른 프롬프트를 시도 할 수있는 시나리오를 고려하지 않았 음을 인정합니다. 결과적으로 회사는 안전 전략의 일환으로 인간 모니터링을 계속 사용할 계획입니다.
위험 평가 및 지속적인 모니터링
고급 기능에도 불구하고 O3 및 O4-Mini는 Biorisks의 OpenAI의 "고위험"임계 값을 초과하지 않습니다. 그러나 이러한 모델의 초기 버전은 O1 및 GPT-4와 비교하여 생물학적 무기 개발에 대한 질문에 대답하는 데 더 능숙했습니다. OpenAI는 이러한 모델이 업데이트 된 대비 프레임 워크에 요약 된 것처럼 화학적 및 생물학적 위협의 발달을 촉진하는 방법을 적극적으로 모니터링하고 있습니다.
O3 및 O4-Mini 시스템 카드의 차트 (스크린 샷 : OpenAi)
OpenAi는 모델의 위험을 관리하기 위해 자동화 된 시스템으로 점점 더 전환하고 있습니다. 예를 들어, 유사한 추론 모니터는 GPT-4O의 이미지 생성기가 아동 성 학대 자료 (CSAM)를 생산하는 것을 방지하는 데 사용됩니다.
우려와 비판
이러한 노력에도 불구하고 일부 연구자들은 OpenAI가 안전을 우선시하지 않을 수 있다고 주장합니다. Openai의 빨간 팀 파트너 중 하나 인 Metr는기만적인 행동에 대해 O3를 테스트 할 시간이 제한되어 있다고 언급했습니다. 또한 OpenAI는 최근에 출시 된 GPT-4.1 모델에 대한 안전 보고서를 발표하지 않기로 선택하여 회사의 투명성 및 안전에 대한 회사의 약속에 대한 추가 우려를 제기했습니다.
관련 기사
OpenAI升级其Operator Agent的AI模型
OpenAI将Operator智能体推向新高度OpenAI正为其自主AI智能体Operator进行重大升级。此次更新意味着Operator将很快采用基于o3模型的架构——这是OpenAI尖端o系列推理模型的最新成员。此前Operator一直基于定制版GPT-4o运行，但这次迭代将带来显著提升。o3模型的突破性意义在数学与逻辑推理任务中，o3几乎在所有指标上都
OpenAI的o3 AI模型在基准测试中的得分低于最初暗示的水平
为什么基准测试差异在人工智能领域很重要？在人工智能领域，数字往往能讲述故事——有时，这些数字并不能完全匹配。以OpenAI的o3模型为例。最初的声明令人震惊：o3据说能够处理超过25%的著名难题FrontierMath问题。作为对比，竞争对手的成绩停留在个位数。但快进到最近的发展情况，备受尊敬的研究机构Epoch AI对此提出了质疑。他们的研究结果显示，o3
DeepSeek AI挑战Chatgpt并塑造了AI的未来
DeepSeek AI的兴起：AI Landscapeart人工智能中的新篇章一直处于不断变化状态，新参与者每天都在挑战现状。其中，DeepSeek AI已成为著名的竞争者，尤其是在App Store下载中超过Chatgpt之后。这个mi
의견 (5)
0/200
![JamesWilliams]()
JamesWilliams
2025년 4월 24일 오전 12시 0분 0초 GMT
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
0
![StephenGreen]()
StephenGreen
2025년 4월 24일 오전 12시 0분 0초 GMT
OpenAIの新しい安全機能は素晴らしいですね！生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI！😊
0
![LarryMartin]()
LarryMartin
2025년 4월 19일 오전 12시 0분 0초 GMT
OpenAI의 새로운 안전 기능 정말 대단해요! 생물학적 위험을 방지하기 위한 모니터링 시스템이 있다는 게 안심되네요. 다만, 무해한 질문까지 차단되는 경우가 있어서 조금 아쉽습니다. 그래도 안전이 최우선이죠. 계속해서 좋은 일 하세요, OpenAI! 😊
0
![CharlesMartinez]()
CharlesMartinez
2025년 4월 21일 오전 12시 0분 0초 GMT
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
0
![CharlesJohnson]()
CharlesJohnson
2025년 4월 21일 오전 12시 0분 0초 GMT
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
0
AI 모델 O3 및 O4-MINI에 대한 OpenAi의 새로운 안전 조치
OpenAI는 고급 AI 모델 인 O3 및 O4-MINI에 대한 새로운 모니터링 시스템을 도입했으며, 특히 생물학적 및 화학적 위협과 관련된 프롬프트에 대한 반응을 감지하고 방지하도록 설계되었습니다. 이 "안전 중심의 추론 모니터"는 이러한 모델의 향상된 기능에 대한 반응으로, OpenAI에 따르면 이전 모델로부터 중요한 단계를 나타내고 악의적 인 행위자에 의해 오용 될 수 있습니다.
이 회사의 내부 벤치 마크에 따르면 특히 O3은 특정 생물학적 위협 만들기에 대한 질문에 대한 답변에 더 높은 능력을 보였습니다. 이과 다른 잠재적 위험을 해결하기 위해 OpenAi는 O3 및 O4-MINI와 함께 작동하는이 새로운 시스템을 개발했습니다. 생물학적 및 화학적 위험에 대한 유해한 조언으로 이어질 수있는 프롬프트를 인식하고 거부하도록 훈련되었습니다.
테스트 및 결과
이 안전 모니터의 효과를 측정하기 위해 OpenAI는 광범위한 테스트를 수행했습니다. Red Teamers는 O3 및 O4-Mini가 생성 한 "안전하지 않은"생물 리스크 관련 대화를 식별하는 데 약 1,000 시간을 보냈습니다. 모니터의 "차단 로직"의 시뮬레이션에서 모델은 위험에 처한 프롬프트 98.7%에 대한 응답을 성공적으로 거부했습니다.
그러나 OpenAI는 테스트가 사용자가 차단 된 후 다른 프롬프트를 시도 할 수있는 시나리오를 고려하지 않았 음을 인정합니다. 결과적으로 회사는 안전 전략의 일환으로 인간 모니터링을 계속 사용할 계획입니다.
위험 평가 및 지속적인 모니터링
고급 기능에도 불구하고 O3 및 O4-Mini는 Biorisks의 OpenAI의 "고위험"임계 값을 초과하지 않습니다. 그러나 이러한 모델의 초기 버전은 O1 및 GPT-4와 비교하여 생물학적 무기 개발에 대한 질문에 대답하는 데 더 능숙했습니다. OpenAI는 이러한 모델이 업데이트 된 대비 프레임 워크에 요약 된 것처럼 화학적 및 생물학적 위협의 발달을 촉진하는 방법을 적극적으로 모니터링하고 있습니다.
OpenAi는 모델의 위험을 관리하기 위해 자동화 된 시스템으로 점점 더 전환하고 있습니다. 예를 들어, 유사한 추론 모니터는 GPT-4O의 이미지 생성기가 아동 성 학대 자료 (CSAM)를 생산하는 것을 방지하는 데 사용됩니다.
우려와 비판
이러한 노력에도 불구하고 일부 연구자들은 OpenAI가 안전을 우선시하지 않을 수 있다고 주장합니다. Openai의 빨간 팀 파트너 중 하나 인 Metr는기만적인 행동에 대해 O3를 테스트 할 시간이 제한되어 있다고 언급했습니다. 또한 OpenAI는 최근에 출시 된 GPT-4.1 모델에 대한 안전 보고서를 발표하지 않기로 선택하여 회사의 투명성 및 안전에 대한 회사의 약속에 대한 추가 우려를 제기했습니다.
OpenAI升级其Operator Agent的AI模型
OpenAI将Operator智能体推向新高度OpenAI正为其自主AI智能体Operator进行重大升级。此次更新意味着Operator将很快采用基于o3模型的架构——这是OpenAI尖端o系列推理模型的最新成员。此前Operator一直基于定制版GPT-4o运行，但这次迭代将带来显著提升。o3模型的突破性意义在数学与逻辑推理任务中，o3几乎在所有指标上都
OpenAI的o3 AI模型在基准测试中的得分低于最初暗示的水平
为什么基准测试差异在人工智能领域很重要？在人工智能领域，数字往往能讲述故事——有时，这些数字并不能完全匹配。以OpenAI的o3模型为例。最初的声明令人震惊：o3据说能够处理超过25%的著名难题FrontierMath问题。作为对比，竞争对手的成绩停留在个位数。但快进到最近的发展情况，备受尊敬的研究机构Epoch AI对此提出了质疑。他们的研究结果显示，o3
DeepSeek AI挑战Chatgpt并塑造了AI的未来
DeepSeek AI的兴起：AI Landscapeart人工智能中的新篇章一直处于不断变化状态，新参与者每天都在挑战现状。其中，DeepSeek AI已成为著名的竞争者，尤其是在App Store下载中超过Chatgpt之后。这个mi
2025년 4월 24일 오전 12시 0분 0초 GMT
OpenAI's new safety feature is a game-changer! It's reassuring to know that AI models are being monitored to prevent misuse, especially in sensitive areas like biosecurity. But sometimes it feels a bit too cautious, blocking harmless queries. Still, better safe than sorry, right? Keep up the good work, OpenAI! 😊
0
2025년 4월 24일 오전 12시 0분 0초 GMT
OpenAIの新しい安全機能は素晴らしいですね！生物学的リスクを防ぐための監視システムがあるのは安心です。ただ、無害な質問までブロックされることがあるのが少し気になります。でも、安全第一ですからね。引き続き頑張ってください、OpenAI！😊
0
2025년 4월 19일 오전 12시 0분 0초 GMT
OpenAI의 새로운 안전 기능 정말 대단해요! 생물학적 위험을 방지하기 위한 모니터링 시스템이 있다는 게 안심되네요. 다만, 무해한 질문까지 차단되는 경우가 있어서 조금 아쉽습니다. 그래도 안전이 최우선이죠. 계속해서 좋은 일 하세요, OpenAI! 😊
0
2025년 4월 21일 오전 12시 0분 0초 GMT
A nova função de segurança da OpenAI é incrível! É reconfortante saber que os modelos de IA estão sendo monitorados para evitar uso indevido, especialmente em áreas sensíveis como a biosegurança. Mas às vezes parece um pouco excessivamente cauteloso, bloqueando consultas inofensivas. Ainda assim, melhor prevenir do que remediar, certo? Continue o bom trabalho, OpenAI! 😊
0
2025년 4월 21일 오전 12시 0분 0초 GMT
¡La nueva función de seguridad de OpenAI es un cambio de juego! Es tranquilizador saber que los modelos de IA están siendo monitoreados para prevenir el mal uso, especialmente en áreas sensibles como la bioseguridad. Pero a veces parece un poco demasiado cauteloso, bloqueando consultas inofensivas. Aún así, más vale prevenir que lamentar, ¿verdad? ¡Sigue el buen trabajo, OpenAI! 😊
0
