리서치 책임자, 기술 부문에 AI 추론 프로세스 추적 촉구

화요일에 발표된 포지션 페이퍼에 따르면 OpenAI, 구글 딥마인드, 앤트로픽, 그리고 광범위한 기업 및 비영리 단체 연합의 AI 연구자들은 AI 추론 모델의 소위 사고 과정을 모니터링하기 위해 더 깊이 탐구할 것을 주장하고 있습니다.

OpenAI의 o3와 DeepSeek의 R1과 같은 AI 추론 모델의 가장 큰 특징은 인간이 복잡한 수학 방정식을 풀기 위해 스크래치 페이퍼를 사용하는 것처럼 AI 모델이 문제를 체계적으로 해결하는 외부화된 프로세스인 생각의 사슬 또는 CoT를 사용한다는 점입니다. 추론 모델은 AI 에이전트를 구동하는 데 있어 기본이 되며, 논문 저자들은 CoT 모니터링이 점점 더 능력 있고 널리 퍼지는 AI 에이전트를 통제하는 데 중요한 방법이 될 수 있다고 주장합니다.

연구자들은 포지션 페이퍼에서 "CoT 모니터링은 최첨단 AI의 안전 프로토콜을 향상시켜 AI 에이전트가 어떻게 의사 결정에 도달하는지에 대한 고유한 창을 제공합니다."라고 설명합니다. "그러나 이러한 수준의 가시성이 계속 유지될 것이라는 확신은 없습니다. 우리는 연구 커뮤니티와 프론티어 AI 개발자들이 CoT 모니터링 가능성의 이점을 극대화하고 이를 보존할 수 있는 방법을 연구할 것을 촉구합니다."

이 입장문은 선도적인 AI 개발자들이 CoT를 '모니터링 가능'하게 만드는 요인, 특히 AI 모델이 실제로 답을 생성하는 방법에 대한 투명성을 향상시키거나 감소시키는 요인을 조사할 것을 촉구합니다. 저자들은 CoT 모니터링이 AI 추론 모델을 이해하는 데 유망한 접근 방식이기는 하지만 여전히 취약하며, 투명성이나 신뢰성을 떨어뜨릴 수 있는 모든 변화에 주의를 기울여야 한다고 지적합니다.

또한, 저자들은 AI 개발자에게 CoT 모니터링 가능성을 지속적으로 추적하고 이 방법을 궁극적으로 안전 조치로 구현할 수 있는 방법을 모색할 것을 촉구합니다.

이 백서의 주요 서명자로는 OpenAI의 최고 연구 책임자 마크 첸, 세이프 슈퍼인텔리전스 CEO 일리야 수츠케버, 노벨상 수상자 제프리 힌튼, 구글 딥마인드 공동 설립자 셰인 레그, xAI 안전 고문 댄 헨드릭스, 씽킹 머신 공동 설립자 존 슐먼 등이 있습니다. 주요 저자로는 영국 AI 보안 연구소 및 아폴로 리서치 대표와 METR, Amazon, Meta, UC 버클리의 추가 서명이 포함됩니다.

이 백서는 AI 안전에 대한 연구를 가속화하기 위한 AI 업계 최고 리더들의 통합된 노력을 나타냅니다. 이는 기술 기업 간의 경쟁이 치열한 시기에 나온 것으로, 메타는 수백만 달러의 연봉을 제시하며 OpenAI, 구글 딥마인드, 앤트로픽의 최고 연구원을 영입했습니다. 가장 많이 찾는 연구원 중에는 AI 에이전트 및 추론 모델 전문 연구원이 있습니다.

지금 라이브! 테크크런치 전 단계

더 스마트하게 구축하세요. 더 빠르게 확장하세요. 더 깊이 연결하세요. 실행 가능한 전략, 몰입형 워크숍, 의미 있는 네트워킹으로 가득 찬 하루 동안 Precursor Ventures, NEA, Index Ventures, Underscore VC 등의 혁신가와 함께하세요.

테크크런치 올 스테이지 패스를 $450 할인된 가격에 구매하세요.

더 스마트하게 구축하세요. 더 빠르게 확장하세요. 더 깊이 연결하세요. 실행 가능한 전략, 몰입형 워크숍, 의미 있는 네트워킹으로 가득 찬 하루 동안 Precursor Ventures, NEA, Index Ventures, Underscore VC 등의 혁신가들과 함께하세요.

"우리는 새로운 사고의 사슬 기능을 갖춘 중요한 순간에 있습니다. 매우 유용해 보이지만 집중적인 관심을 받지 못하면 몇 년 안에 사라질 수도 있습니다."라고 이 논문에 참여한 OpenAI 연구원인 보웬 베이커는 TechCrunch와의 인터뷰에서 말했습니다. "이런 입장문을 발표하는 것은 너무 늦기 전에 이 주제에 대한 더 많은 연구와 관심을 유도하는 방법이라고 생각합니다."

OpenAI는 2024년 9월에 초기 AI 추론 모델인 o1의 프리뷰를 처음 공개했습니다. 그 후 몇 달 동안 기술 업계는 유사한 기능을 갖춘 경쟁 모델을 빠르게 출시했으며, 그중 일부는 Google DeepMind, xAI, Anthropic에서 훨씬 더 발전된 벤치마크 성능을 보여주었습니다.

그럼에도 불구하고 AI 추론 모델이 어떻게 작동하는지에 대한 이해는 여전히 제한적입니다. 지난 한 해 동안 AI 연구소는 AI 성능을 개선하는 데 상당한 진전을 이루었지만, 이것이 반드시 의사 결정 프로세스에 대한 명확한 이해로 이어지지는 않았습니다.

앤트로픽은 AI 모델의 작동 방식, 즉 해석 가능성 분야를 이해하는 데 있어 선구적인 역할을 해왔습니다. 올해 초, CEO 다리오 아모데이는 2027년까지 AI 모델의 '블랙박스'를 풀고 해석 가능성에 대한 투자를 늘리겠다고 약속했습니다. 또한 OpenAI와 구글 딥마인드에 이 분야에 대한 추가 연구를 독려했습니다.

앤트로픽의 초기 연구에 따르면 CoT는 이러한 모델이 답을 생성하는 방식에 대해 완전히 신뢰할 수 있는 지표가 아닐 수 있습니다. 동시에 OpenAI 연구원들은 CoT 모니터링이 궁극적으로 AI 모델의 정렬과 안전성을 추적하는 신뢰할 수 있는 방법으로 사용될 수 있다고 밝혔습니다.

이와 같은 포지션 페이퍼는 CoT 모니터링과 같은 새로운 연구 분야에 대한 인식을 제고하고 더 많은 관심을 유도하는 것을 목표로 합니다. OpenAI, 구글 딥마인드, 앤트로픽과 같은 회사들이 이미 이 분야에 대한 연구를 진행하고 있지만, 이번 발표가 추가적인 자금 지원과 연구를 촉진하는 데 도움이 될 수 있습니다.