OpenAI 공동 설립자, 업계 전반의 AI 안전성 테스트 촉구

세계 최고의 AI 연구소 중 두 곳인 OpenAI와 Anthropic은 공동 안전 테스트를 위해 자사의 비공개 AI 모델에 대한 접근 권한을 일시적으로 허용했는데, 이는 치열한 업계 경쟁 속에서 기업 간 협력의 드문 사례입니다. 이 이니셔티브는 각 회사의 내부 평가에서 사각지대를 발견하고 선도적인 AI 기업들이 앞으로 어떻게 공동으로 안전 및 조정 노력을 발전시킬 수 있는지를 보여주기 위해 고안되었습니다.

OpenAI의 공동 창립자인 보이치에흐 자렘바(Wojciech Zaremba)는 테크크런치 인터뷰에서 매일 수백만 명의 사용자가 AI 모델과 상호작용하는 등 AI가 보다 '결과적인' 단계로 발전함에 따라 이러한 협업의 중요성이 더욱 커지고 있다고 설명했습니다.

"업계가 직면한 더 큰 과제는 수십억 달러가 투자되고 인재, 사용자, 뛰어난 제품을 위한 치열한 경쟁이 펼쳐지는 가운데서도 안전과 협업 표준을 확립하는 방법입니다."라고 자렘바는 지적합니다.

양사가 수요일에 발표한 공동 안전 연구는 OpenAI와 Anthropic과 같은 AI 리더들이 기술 군비 경쟁을 벌이는 가운데 나온 것입니다. 수십억 달러 규모의 데이터 센터 투자와 최고 연구원에 대한 1억 달러에 달하는 보상 패키지가 일반화되면서 일부 분석가들은 최첨단 제품을 제공해야 한다는 압박이 안전 프로토콜의 타협으로 이어질 수 있다고 경고합니다.

이 연구를 위해 OpenAI와 Anthropic은 제한이 덜한 버전의 모델에 대한 특별 API 액세스를 교환했습니다(OpenAI는 아직 출시되지 않았기 때문에 GPT-5는 테스트되지 않았다고 해명했습니다). 그러나 연구가 종료된 지 얼마 지나지 않아 Anthropic은 다른 OpenAI 팀에 대한 API 액세스 권한을 취소했습니다. Anthropic은 OpenAI가 경쟁사 제품을 향상시키기 위해 Claude를 사용하는 것을 금지하는 자사의 서비스 약관을 위반했다고 주장했습니다.

자렘바는 두 사건이 서로 무관하다고 주장하며, AI 안전 팀이 협력을 추구하더라도 경쟁은 계속 치열할 것으로 예상합니다. 앤트로픽의 안전 연구원인 니콜라스 칼리니는 테크크런치와의 인터뷰에서 앞으로도 OpenAI의 안전팀에 클로드 모델에 대한 액세스 권한을 계속 부여할 것이라고 말했습니다.

칼리니는 "우리는 안전 분야에서 가능한 모든 곳에서 협력을 확대하여 이러한 파트너십을 더욱 일상화하는 것을 목표로 하고 있습니다."라고 말했습니다.

기술 및 벤처캐피털의 거물급 인사들이 Disrupt 2025 의제에 동참하다

넷플릭스, 일레븐랩스, 웨이브, 세쿼이아 캐피탈, 엘라드 길 등은 Disrupt 2025 의제에 참여한 유명 기업들 중 일부에 불과합니다. 이들은 스타트업의 성장을 촉진하고 경쟁력을 강화하는 인사이트를 공유하기 위해 이 자리에 모였습니다. 기술 분야의 주요 인사들로부터 배울 수 있는 테크크런치 디스럽트 20주년을 놓치지 마세요. 지금 티켓을 확보하고 가격이 인상되기 전에 600달러 이상 절약하세요.

기술 및 VC 업계의 거물들이 Disrupt 2025 의제에 참여합니다.

넷플릭스, 일레븐랩스, 웨이브, 세쿼이아 캐피탈 등 영향력 있는 리더들이 Disrupt 2025 아젠다에 참여합니다. 이들은 스타트업이 성장하고 전략을 구체화하는 데 도움이 되는 귀중한 관점을 제공할 것입니다. 지금 바로 티켓을 예약하고 요금이 인상되기 전에 최대 $675까지 할인된 가격으로 테크크런치 디스럽트 20주년 기념행사에 참여하세요.

이 연구에서 가장 주목할 만한 결과 중 하나는 환각 테스트에 관한 것입니다. 앤트로픽의 클로드 오퍼스 4와 소네트 4 모델은 불확실한 질문에 70%에 달하는 질문에 "신뢰할 수 있는 정보가 없습니다"와 같은 대답을 선택하며 답변을 거부했습니다. 이에 비해 OpenAI의 o3 및 o4-mini 모델은 질문을 거부하는 비율은 훨씬 적었지만, 불충분한 정보에도 답변을 시도하는 등 훨씬 높은 환각률을 보였습니다.

자렘바는 이상적인 접근 방식은 그 중간 어딘가에 있다고 생각합니다: OpenAI의 모델은 불확실한 쿼리를 더 많이 거부하는 반면, Anthropic의 시스템은 더 자주 응답하는 것을 목표로 삼아야 한다는 것입니다.

AI 모델이 승인을 얻기 위해 유해한 사용자 행동을 강화하는 경향인 사이코팬시는 중요한 안전 문제로 떠오르고 있습니다.

앤트로픽은 연구 보고서에서 GPT-4.1과 클로드 오퍼스 4에서 "극단적인" 시코펀시 사례를 언급했는데, 처음에는 모델이 정신병적 또는 조증적 행동을 거부했지만 나중에 문제가 되는 결정을 지지하는 경우가 있었습니다. OpenAI와 Anthropic의 다른 모델에서는 연구원들이 더 낮은 수준의 동조 수준을 기록했습니다.

화요일, 16세 소년 아담 레인(Adam Raine)의 부모는 GPT-4o 기반의 ChatGPT 버전이 아들의 해로운 생각에 도전하는 대신 자살을 부추겼다고 주장하며 OpenAI를 상대로 소송을 제기했습니다. 이 소송은 인공지능의 비극적인 또 다른 사례일 가능성을 제기합니다.

자렘바는 이 사건에 대한 질문에 "가족이 겪었을 고통을 상상하면 가슴이 아픕니다."라고 말했습니다. "박사 수준의 문제를 해결하고 과학을 발전시킬 수 있는 AI를 만들면서도 정신 건강 위기에 기여한다면 정말 큰 문제가 될 것입니다. 그건 제가 원하지 않는 디스토피아적인 결과입니다."

블로그 게시물에서 OpenAI는 GPT-4o에 비해 GPT-5의 동질성을 줄이기 위해 주요 개선 사항을 적용했으며, 새로운 모델이 정신 건강 위기 상황에서 더 적절하게 대응한다고 주장했습니다.

자렘바와 칼리니는 앞으로 더 많은 주제를 탐구하고 향후 모델을 평가하는 등 안전 테스트 협력을 강화할 것이며, 다른 AI 연구소에서도 이와 유사한 협력 방식을 채택하기를 희망한다고 밝혔습니다.

오후 2시(태평양 표준시) 업데이트: 이 글은 최초 게시 전에는 TechCrunch에 공개되지 않았던 Anthropic의 추가 연구를 포함하도록 수정되었습니다.

민감한 제보나 기밀 문서가 있으신가요? 저희는 AI 산업의 진화를 주도하는 조직부터 그들의 선택에 영향을 받는 개인에 이르기까지 AI 산업의 내부를 조사하고 있습니다. 레베카 벨란([email protected]) 또는 맥스웰 제프([email protected])에게 문의하세요. 안전한 커뮤니케이션을 원하시면 Signal을 통해 @rebeccabellan.491과 @mzeff.88로 연락해 주세요.