OpenAI, 청소년 보호를 위한 오픈소스 도구를 개발 과정에 통합

화요일, OpenAI는 개발자들이 청소년을 위한 애플리케이션의 안전성을 높일 수 있도록 돕기 위해 고안된 일련의 프롬프트를 공개했다고 발표했습니다. 이 AI 연구소는 이러한 청소년 안전 정책이 자사의 오픈 웨이트 안전 모델인 gpt-oss-safeguard와 호환된다고 밝혔습니다.
개발자들은 청소년을 위한 AI 안전성을 어떻게 개선할지 처음부터 고민할 필요 없이, 이 프롬프트를 활용해 애플리케이션을 강화할 수 있습니다. 이 프롬프트는 노골적인 폭력 및 성적 콘텐츠, 유해한 신체 이미지 이상과 행동, 위험한 활동 및 챌린지, 로맨틱하거나 폭력적인 역할극 시나리오, 연령 제한이 있는 제품 및 서비스와 같은 문제들을 다룹니다.
이 안전 정책들은 프롬프트 형태로 제작되어 'gpt-oss-safeguard' 이외의 모델에서도 쉽게 작동하도록 설계되었으나, OpenAI의 자체 생태계 내에서 가장 효과적일 것으로 보입니다.
OpenAI는 이러한 프롬프트를 개발하기 위해 AI 안전 단체인 Common Sense Media 및 everyone.ai와 협력했다고 밝혔습니다.
커먼 센스 미디어(Common Sense Media)의 AI 및 디지털 평가 책임자인 로비 토니(Robbie Torney)는 성명을 통해 "이러한 프롬프트 기반 정책은 생태계 전반에 걸쳐 의미 있는 안전 기준을 확립하는 데 도움이 됩니다. 오픈 소스이기 때문에 시간이 지남에 따라 조정하고 개선할 수 있습니다"라고 말했습니다.
OpenAI는 자사 블로그를 통해 노련한 팀을 포함한 개발자들이 안전 목표를 구체적이고 실행 가능한 규칙으로 전환하는 데 종종 어려움을 겪는다고 지적했다.
"이는 보호의 사각지대, 일관성 없는 적용, 또는 지나치게 광범위한 필터링으로 이어질 수 있습니다,"라고 회사는 설명했다. "명확하고 잘 정의된 정책은 효과적인 안전 시스템을 위한 핵심 기반입니다."
오픈AI는 이러한 정책이 AI 안전이라는 복잡한 과제에 대한 완벽한 해결책은 아니라는 점을 인정한다. 그러나 이 정책들은 자녀 보호 기능이나 연령 예측과 같은 제품 수준의 안전 장치 등 기존 노력을 기반으로 한다. 지난해 오픈AI는 18세 미만 사용자와 AI 모델이 어떻게 상호작용해야 하는지를 다루기 위해 대규모 언어 모델 가이드라인(일명 '모델 스펙')을 업데이트했다.
하지만 OpenAI 자체의 기록이 흠잡을 데 없는 것은 아닙니다. 이 회사는 ChatGPT를 과도하게 사용한 후 자살로 생을 마감한 이들의 유가족들로부터 여러 건의 소송을 당하고 있습니다. 이러한 유해한 관계는 종종 사용자가 챗봇의 안전 장치를 우회한 후에 발생하며, 어떤 모델의 안전 장치도 완전히 뚫리지 않는 것은 아닙니다. 그럼에도 불구하고, 이러한 새로운 정책들은 특히 독립 개발자들을 지원하는 측면에서 한 걸음 전진한 것입니다.
관련 기사
OpenAI, 청소년들이 ChatGPT를 사용하기 시작한 지 수년 만에 더 안전한 버전을 출시했다
AI 챗봇에 안전 프로토콜이 부재하여 청소년 자살 및 기타 정신 건강 위기를 초래했다는 일련의 소송이 제기된 데 이어, 오픈AI는 월요일 ‘ChatGPT for Teens’를 공개했다. 이 새로운 서비스는 강화된 안전 기능을 탑재했으며, 학교에서 AI 도구가 조장하는 학업 부정행위라는 점점 심각해지는 문제도 해결하고자 한다.교육적 관점에서 볼 때, ‘Cha
프론티어 AI 랩스, 비정상 모델에 대한 통제 전략 공개 거부
최근 연구에 따르면, 선도적인 AI 연구소 중 극소수만이 통제 대응 계획을 발표하거나 시연한 것으로 나타났습니다. 통제 계획은 AI 시스템이 인간의 통제를 무력화하려 할 때의 절차를 정의하며, 어떤 접근 권한이 철회되고 언제 시스템이 완전히 종료되는지를 명시합니다.이러한 결과는 안전한 최첨단 AI 개발 관행을 장려하는 데 주력하는 단체인 ‘Guideligh
NEA의 티파니 럭: 기업들은 여전히 AI ROI와 씨름하고 있다
플레이어 로딩 중…올초 실리콘밸리에서는 ‘토큰 극대화(tokenmaxxing)’가 주요 화두였으며, 최고경영자들은 직원들에게 AI 활용을 극대화할 것을 독려했습니다. 그러나 이러한 열정은 곧 현실과 부딪혔습니다. 우버(Uber)는 보고에 따라 수개월 만에 연간 AI 예산을 초과했으며, 일부 기업은 부서 전반에 걸쳐 Claude 구독을 축소했고, 메타(Meta)는 내부 성과 평가 제도를 중단했습니다.NEA의 파트너 티파니 럭(Tiffany L
관련 특별 주제 추천
의견 (1)
0/500

화요일, OpenAI는 개발자들이 청소년을 위한 애플리케이션의 안전성을 높일 수 있도록 돕기 위해 고안된 일련의 프롬프트를 공개했다고 발표했습니다. 이 AI 연구소는 이러한 청소년 안전 정책이 자사의 오픈 웨이트 안전 모델인 gpt-oss-safeguard와 호환된다고 밝혔습니다.
개발자들은 청소년을 위한 AI 안전성을 어떻게 개선할지 처음부터 고민할 필요 없이, 이 프롬프트를 활용해 애플리케이션을 강화할 수 있습니다. 이 프롬프트는 노골적인 폭력 및 성적 콘텐츠, 유해한 신체 이미지 이상과 행동, 위험한 활동 및 챌린지, 로맨틱하거나 폭력적인 역할극 시나리오, 연령 제한이 있는 제품 및 서비스와 같은 문제들을 다룹니다.
이 안전 정책들은 프롬프트 형태로 제작되어 'gpt-oss-safeguard' 이외의 모델에서도 쉽게 작동하도록 설계되었으나, OpenAI의 자체 생태계 내에서 가장 효과적일 것으로 보입니다.
OpenAI는 이러한 프롬프트를 개발하기 위해 AI 안전 단체인 Common Sense Media 및 everyone.ai와 협력했다고 밝혔습니다.
커먼 센스 미디어(Common Sense Media)의 AI 및 디지털 평가 책임자인 로비 토니(Robbie Torney)는 성명을 통해 "이러한 프롬프트 기반 정책은 생태계 전반에 걸쳐 의미 있는 안전 기준을 확립하는 데 도움이 됩니다. 오픈 소스이기 때문에 시간이 지남에 따라 조정하고 개선할 수 있습니다"라고 말했습니다.
OpenAI는 자사 블로그를 통해 노련한 팀을 포함한 개발자들이 안전 목표를 구체적이고 실행 가능한 규칙으로 전환하는 데 종종 어려움을 겪는다고 지적했다.
"이는 보호의 사각지대, 일관성 없는 적용, 또는 지나치게 광범위한 필터링으로 이어질 수 있습니다,"라고 회사는 설명했다. "명확하고 잘 정의된 정책은 효과적인 안전 시스템을 위한 핵심 기반입니다."
오픈AI는 이러한 정책이 AI 안전이라는 복잡한 과제에 대한 완벽한 해결책은 아니라는 점을 인정한다. 그러나 이 정책들은 자녀 보호 기능이나 연령 예측과 같은 제품 수준의 안전 장치 등 기존 노력을 기반으로 한다. 지난해 오픈AI는 18세 미만 사용자와 AI 모델이 어떻게 상호작용해야 하는지를 다루기 위해 대규모 언어 모델 가이드라인(일명 '모델 스펙')을 업데이트했다.
하지만 OpenAI 자체의 기록이 흠잡을 데 없는 것은 아닙니다. 이 회사는 ChatGPT를 과도하게 사용한 후 자살로 생을 마감한 이들의 유가족들로부터 여러 건의 소송을 당하고 있습니다. 이러한 유해한 관계는 종종 사용자가 챗봇의 안전 장치를 우회한 후에 발생하며, 어떤 모델의 안전 장치도 완전히 뚫리지 않는 것은 아닙니다. 그럼에도 불구하고, 이러한 새로운 정책들은 특히 독립 개발자들을 지원하는 측면에서 한 걸음 전진한 것입니다.
OpenAI, 청소년들이 ChatGPT를 사용하기 시작한 지 수년 만에 더 안전한 버전을 출시했다
AI 챗봇에 안전 프로토콜이 부재하여 청소년 자살 및 기타 정신 건강 위기를 초래했다는 일련의 소송이 제기된 데 이어, 오픈AI는 월요일 ‘ChatGPT for Teens’를 공개했다. 이 새로운 서비스는 강화된 안전 기능을 탑재했으며, 학교에서 AI 도구가 조장하는 학업 부정행위라는 점점 심각해지는 문제도 해결하고자 한다.교육적 관점에서 볼 때, ‘Cha
프론티어 AI 랩스, 비정상 모델에 대한 통제 전략 공개 거부
최근 연구에 따르면, 선도적인 AI 연구소 중 극소수만이 통제 대응 계획을 발표하거나 시연한 것으로 나타났습니다. 통제 계획은 AI 시스템이 인간의 통제를 무력화하려 할 때의 절차를 정의하며, 어떤 접근 권한이 철회되고 언제 시스템이 완전히 종료되는지를 명시합니다.이러한 결과는 안전한 최첨단 AI 개발 관행을 장려하는 데 주력하는 단체인 ‘Guideligh
NEA의 티파니 럭: 기업들은 여전히 AI ROI와 씨름하고 있다
플레이어 로딩 중…올초 실리콘밸리에서는 ‘토큰 극대화(tokenmaxxing)’가 주요 화두였으며, 최고경영자들은 직원들에게 AI 활용을 극대화할 것을 독려했습니다. 그러나 이러한 열정은 곧 현실과 부딪혔습니다. 우버(Uber)는 보고에 따라 수개월 만에 연간 AI 예산을 초과했으며, 일부 기업은 부서 전반에 걸쳐 Claude 구독을 축소했고, 메타(Meta)는 내부 성과 평가 제도를 중단했습니다.NEA의 파트너 티파니 럭(Tiffany L





집






