AI 안전 이야기 변경을위한 전주 정책 리드 슬램 회사

# openai # policy

전직 OpenAI 정책 연구원 인 Miles Brundage는 최근 소셜 미디어를 방문하여 잠재적으로 위험한 AI 시스템을 배치하려는 접근 방식의 "역사를 다시 작성하려는 시도"로 보는 것에 대해 OpenAI를 불러 냈습니다. 이번 주 Openai는 AI 시스템이 예측 가능하고 유익한 방식으로 작용하도록하는 과정 인 AI 안전 및 정렬에 대한 현재의 입장을 자세히 설명하는 문서를 발표했습니다. OpenAI는 AI Technologies에서 "반복적으로 배포하고 학습"하는 "연속 경로"로 인간이 할 수있는 모든 작업을 수행 할 수있는 AGI 또는 AI 시스템의 개발을 설명했습니다. Openai는 "불연속적인 세상에서 [...] 안전 수업은 오늘날의 시스템을 명백한 힘과 비교하여 큰주의로 대우하는 데있어 왔습니다. "우리는 이제 첫 번째 AGI를 연속 세계에서 유용성이 증가하는 일련의 시스템을 따라 한 지점으로 간주합니다. 다음 시스템을 안전하고 유익하게 만드는 방법은 현재 시스템에서 배우는 것입니다." 그러나 Brundage는 GPT-2로 취한 신중한 접근 방식이 OpenAI의 현재 반복 배포 전략과 전적으로 일치한다고 주장합니다. Brundage는 "내가 관여했던 GPT-2의 OpenAi 릴리스는 OpenAI의 현재 반복 배포 철학과 100% 일관되었다"고 Brundage는 X에 게시했다. 2018 년에 연구 과학자로 OpenAI에 합류 한 후 나중에 회사의 정책 연구 책임자가 된 Brundage는 OpenAI의 "AGI Readiness"팀에서 ChatGPT와 같은 언어 생성 시스템의 책임있는 배치에 중점을 두었습니다. 2019 년 OpenAI가 발표 한 GPT-2는 ChatGpt 뒤의 AI 시스템의 선구자였습니다. 질문에 대답하고 기사를 요약하며 때로는 인간의 글쓰기와 구별 할 수없는 텍스트를 생성 할 수 있습니다. GPT-2는 현재 기본적으로 보일지 모르지만 당시에는 획기적이었습니다. 잠재적 오용에 대한 우려로 인해 OpenAi는 처음에 모델의 소스 코드를 보류했으며 대신 선택된 뉴스 매체가 데모에 대한 액세스를 제한 할 수 있습니다. 이 결정은 AI 커뮤니티로부터 혼합 된 피드백을 받았습니다. 일부는 GPT-2와 관련된 위험이 과장되었으며 오용에 대한 Openai의 우려를 뒷받침 할 증거는 없다고 주장했다. AI 중심 간행물 Gradient는 심지어 OpenAi가 기술의 중요성을 인용하여 모델을 발표 할 것을 촉구하는 공개 서한을 발표했습니다. OpenAi는 결국 발표 후 6 개월 후 GPT-2의 부분 버전을 발표 한 후 몇 달 후 전체 시스템을 발표했습니다. Brundage는 이것이 올바른 접근법이라고 생각합니다. "[GPT-2 릴리스]의 어느 부분이 AGI를 불연속적인 것으로 생각하는 데 동기를 부여했거나 전제로 전제 되었는가?"그는 X에 대해 언급했다. Brundage는 Openai의 문서가 임박한 위험에 대한 압도적 인 증거가 없다면 우려가 경보로 기각되는 높은 증거 부담을 확립하는 것을 목표로합니다. 그는이 사고 방식이 고급 AI 시스템에 대해 "매우 위험한"것을 발견했습니다. Brundage는 "OpenAi에서 여전히 일하고 있다면이 [문서]가 왜 그 방식대로 작성되었는지, 그리고 멍청한 방식으로 똥을 뿌려서 달성하기를 바라는 이유를 묻습니다."라고 Brundage는 덧붙였습니다. Openai는 과거에 안전에 대한 "반짝이는 제품"을 우선 순위를 정하고 경쟁 업체를 능가하기위한 돌진 릴리스에 대한 비판에 직면했습니다. 작년 에이 회사는 AGI 준비 팀을 해산했으며 몇몇 AI 안전 및 정책 연구원들은 라이벌 회사를 떠났다. 중국 AI Lab DeepSeek의 R1 모델을 통해 경쟁 환경이 강화되었습니다.이 모델은 공개적으로 이용 가능하며 주요 벤치 마크의 OpenAi의 O1 "추론"모델과 일치하여 글로벌 관심을 끌었습니다. Openai CEO Sam Altman은 DeepSeek이 OpenAi의 기술 책임자를 좁히고 OpenAI가 출시 일정을 가속화하도록 고려했음을 인정했습니다. OpenAi는 2026 년까지 매년 수십억 달러를 잃고 손실을 140 억 달러로 3 배로 돌파하면서 더 빠른 제품 출시주기는 단기 이익을 늘릴 수 있지만 장기 안전성을 손상시킬 수 있습니다. Brundage와 같은 전문가들은이 트레이드 오프가 가치가 있는지 의문을 제기하고 있습니다.

관련 기사

의견 (40)