OpenAI, 청소년 보호를 위한 오픈소스 도구를 개발 과정에 통합

화요일, OpenAI는 개발자들이 청소년을 위한 애플리케이션의 안전성을 높일 수 있도록 돕기 위해 고안된 일련의 프롬프트를 공개했다고 발표했습니다. 이 AI 연구소는 이러한 청소년 안전 정책이 자사의 오픈 웨이트 안전 모델인 gpt-oss-safeguard와 호환된다고 밝혔습니다.
개발자들은 청소년을 위한 AI 안전성을 어떻게 개선할지 처음부터 고민할 필요 없이, 이 프롬프트를 활용해 애플리케이션을 강화할 수 있습니다. 이 프롬프트는 노골적인 폭력 및 성적 콘텐츠, 유해한 신체 이미지 이상과 행동, 위험한 활동 및 챌린지, 로맨틱하거나 폭력적인 역할극 시나리오, 연령 제한이 있는 제품 및 서비스와 같은 문제들을 다룹니다.
이 안전 정책들은 프롬프트 형태로 제작되어 'gpt-oss-safeguard' 이외의 모델에서도 쉽게 작동하도록 설계되었으나, OpenAI의 자체 생태계 내에서 가장 효과적일 것으로 보입니다.
OpenAI는 이러한 프롬프트를 개발하기 위해 AI 안전 단체인 Common Sense Media 및 everyone.ai와 협력했다고 밝혔습니다.
커먼 센스 미디어(Common Sense Media)의 AI 및 디지털 평가 책임자인 로비 토니(Robbie Torney)는 성명을 통해 "이러한 프롬프트 기반 정책은 생태계 전반에 걸쳐 의미 있는 안전 기준을 확립하는 데 도움이 됩니다. 오픈 소스이기 때문에 시간이 지남에 따라 조정하고 개선할 수 있습니다"라고 말했습니다.
OpenAI는 자사 블로그를 통해 노련한 팀을 포함한 개발자들이 안전 목표를 구체적이고 실행 가능한 규칙으로 전환하는 데 종종 어려움을 겪는다고 지적했다.
"이는 보호의 사각지대, 일관성 없는 적용, 또는 지나치게 광범위한 필터링으로 이어질 수 있습니다,"라고 회사는 설명했다. "명확하고 잘 정의된 정책은 효과적인 안전 시스템을 위한 핵심 기반입니다."
오픈AI는 이러한 정책이 AI 안전이라는 복잡한 과제에 대한 완벽한 해결책은 아니라는 점을 인정한다. 그러나 이 정책들은 자녀 보호 기능이나 연령 예측과 같은 제품 수준의 안전 장치 등 기존 노력을 기반으로 한다. 지난해 오픈AI는 18세 미만 사용자와 AI 모델이 어떻게 상호작용해야 하는지를 다루기 위해 대규모 언어 모델 가이드라인(일명 '모델 스펙')을 업데이트했다.
하지만 OpenAI 자체의 기록이 흠잡을 데 없는 것은 아닙니다. 이 회사는 ChatGPT를 과도하게 사용한 후 자살로 생을 마감한 이들의 유가족들로부터 여러 건의 소송을 당하고 있습니다. 이러한 유해한 관계는 종종 사용자가 챗봇의 안전 장치를 우회한 후에 발생하며, 어떤 모델의 안전 장치도 완전히 뚫리지 않는 것은 아닙니다. 그럼에도 불구하고, 이러한 새로운 정책들은 특히 독립 개발자들을 지원하는 측면에서 한 걸음 전진한 것입니다.
관련 기사
사티야 나델라, 새로운 오픈AI 협력을 활용할 준비가 되었다
수요일에 월스트리트의 한 애널리스트가 마이크로소프트의 사티야 나델라 CEO에게 개정된 오픈AI와의 파트너십이 회사의 재무 상황에 어떤 영향을 미칠지 직접 물었습니다.나델라는 이 새로운 협약이 모든 당사자에게 이익이 된다고 설명했습니다. “오픈AI와의 파트너십에 대해 우리는 만족하고 있습니다. 저는 언제나 모든 파트너십에서 상호 이익이 되도록 하는 데 집중합니다. 그렇게 해야만 좋은 파트너로 남을 수 있기 때문입니다.”그는 마이크로소프트가 여
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
그렉 브록맨이 일론 머스크가 오픈AI를 떠난 경위를 밝힌다
2017년 8월 말, 당시 소규모 비영리 연구소였던 OpenAI의 주요 인사들은 기술을 상용화하고 AGI 달성에 필요한 자금을 조달하기 위해 영리 법인을 설립하는 방안을 논의하기 위해 모였다.일론 머스크는 회사에 대한 전적인 통제권을 요구하고 있었으며, 막 공동 창업자 각자에게 테슬라 모델 3를 선물한 참이었다. 그렉 브록맨 최고기술책임자(CTO)는 머스크
관련 특별 주제 추천
의견 (0)
0/500

화요일, OpenAI는 개발자들이 청소년을 위한 애플리케이션의 안전성을 높일 수 있도록 돕기 위해 고안된 일련의 프롬프트를 공개했다고 발표했습니다. 이 AI 연구소는 이러한 청소년 안전 정책이 자사의 오픈 웨이트 안전 모델인 gpt-oss-safeguard와 호환된다고 밝혔습니다.
개발자들은 청소년을 위한 AI 안전성을 어떻게 개선할지 처음부터 고민할 필요 없이, 이 프롬프트를 활용해 애플리케이션을 강화할 수 있습니다. 이 프롬프트는 노골적인 폭력 및 성적 콘텐츠, 유해한 신체 이미지 이상과 행동, 위험한 활동 및 챌린지, 로맨틱하거나 폭력적인 역할극 시나리오, 연령 제한이 있는 제품 및 서비스와 같은 문제들을 다룹니다.
이 안전 정책들은 프롬프트 형태로 제작되어 'gpt-oss-safeguard' 이외의 모델에서도 쉽게 작동하도록 설계되었으나, OpenAI의 자체 생태계 내에서 가장 효과적일 것으로 보입니다.
OpenAI는 이러한 프롬프트를 개발하기 위해 AI 안전 단체인 Common Sense Media 및 everyone.ai와 협력했다고 밝혔습니다.
커먼 센스 미디어(Common Sense Media)의 AI 및 디지털 평가 책임자인 로비 토니(Robbie Torney)는 성명을 통해 "이러한 프롬프트 기반 정책은 생태계 전반에 걸쳐 의미 있는 안전 기준을 확립하는 데 도움이 됩니다. 오픈 소스이기 때문에 시간이 지남에 따라 조정하고 개선할 수 있습니다"라고 말했습니다.
OpenAI는 자사 블로그를 통해 노련한 팀을 포함한 개발자들이 안전 목표를 구체적이고 실행 가능한 규칙으로 전환하는 데 종종 어려움을 겪는다고 지적했다.
"이는 보호의 사각지대, 일관성 없는 적용, 또는 지나치게 광범위한 필터링으로 이어질 수 있습니다,"라고 회사는 설명했다. "명확하고 잘 정의된 정책은 효과적인 안전 시스템을 위한 핵심 기반입니다."
오픈AI는 이러한 정책이 AI 안전이라는 복잡한 과제에 대한 완벽한 해결책은 아니라는 점을 인정한다. 그러나 이 정책들은 자녀 보호 기능이나 연령 예측과 같은 제품 수준의 안전 장치 등 기존 노력을 기반으로 한다. 지난해 오픈AI는 18세 미만 사용자와 AI 모델이 어떻게 상호작용해야 하는지를 다루기 위해 대규모 언어 모델 가이드라인(일명 '모델 스펙')을 업데이트했다.
하지만 OpenAI 자체의 기록이 흠잡을 데 없는 것은 아닙니다. 이 회사는 ChatGPT를 과도하게 사용한 후 자살로 생을 마감한 이들의 유가족들로부터 여러 건의 소송을 당하고 있습니다. 이러한 유해한 관계는 종종 사용자가 챗봇의 안전 장치를 우회한 후에 발생하며, 어떤 모델의 안전 장치도 완전히 뚫리지 않는 것은 아닙니다. 그럼에도 불구하고, 이러한 새로운 정책들은 특히 독립 개발자들을 지원하는 측면에서 한 걸음 전진한 것입니다.
사티야 나델라, 새로운 오픈AI 협력을 활용할 준비가 되었다
수요일에 월스트리트의 한 애널리스트가 마이크로소프트의 사티야 나델라 CEO에게 개정된 오픈AI와의 파트너십이 회사의 재무 상황에 어떤 영향을 미칠지 직접 물었습니다.나델라는 이 새로운 협약이 모든 당사자에게 이익이 된다고 설명했습니다. “오픈AI와의 파트너십에 대해 우리는 만족하고 있습니다. 저는 언제나 모든 파트너십에서 상호 이익이 되도록 하는 데 집중합니다. 그렇게 해야만 좋은 파트너로 남을 수 있기 때문입니다.”그는 마이크로소프트가 여
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
그렉 브록맨이 일론 머스크가 오픈AI를 떠난 경위를 밝힌다
2017년 8월 말, 당시 소규모 비영리 연구소였던 OpenAI의 주요 인사들은 기술을 상용화하고 AGI 달성에 필요한 자금을 조달하기 위해 영리 법인을 설립하는 방안을 논의하기 위해 모였다.일론 머스크는 회사에 대한 전적인 통제권을 요구하고 있었으며, 막 공동 창업자 각자에게 테슬라 모델 3를 선물한 참이었다. 그렉 브록맨 최고기술책임자(CTO)는 머스크





집






