OpenAI 수석 과학자가 AI 추론 투명성 논쟁에 대해 언급: 복잡성은 일정하게 유지, 급격한 도약은 없어

9월 2일, 오픈AI의 수석 과학자 야쿱 파초키는 X에서 AI 모델 아스트라(Astra)와 관련하여 공개된 우려에 대해 답변하며, 해당 모델이 감독 없이 작동하고 투명한 추론 과정을 결여했다는 주장을 명확히 했습니다.
논란이 일어난 이유: 심층 순환이 추론 경로를 흐리게 함
이 문제는 인포메이션(The Information)의 상세한 보고서에서 비롯되었습니다. 이 보고서는 오픈AI가 '심층 순환(deep recurrence)' 기술을 실험하고 있다고 밝혔습니다. 이 접근 방식은 연구원이 모델의 '사고의 사슬(chain of thought)' 추론 과정을 추적하는 능력을 복잡하게 만들 수 있습니다.
챗GPT, 클로드, 제미나이와 같은 주류 모델은 트랜스포머 아키텍처를 기반으로 하며, 정보를 선형 단계로 처리하고 때때로 자연어로 추론을 출력합니다. 그러나 이러한 출력은 항상 내부 연산을 반영하지는 않습니다. '심층 순환'은 모델이 동일한 네트워크 레이어를 반복적으로 호출하여 내부 상태를 지속적으로 업데이트할 수 있게 합니다. 기존의 선형 구조와 달리 이 방법은 중요한 추론을 불투명한 내부 상태에 유지할 수 있어, 연구원이 사고의 사슬을 통해 의사결정 경로를 추적하기 어렵게 만듭니다. 보고서 이후 AI 커뮤니티는 이러한 기술이 외부 모니터링 도구를 방해하여 모델이 결론에 도달하는 방식에 대한 투명성을 낮출 수 있다고 우려했습니다.
파초키의 명확화: 연산 그래프 깊이는 관리 가능한 수준
파초키는 그의 게시물에서 오해의 소지가 있는 미디어 서사에 의해 주도되는 '감독 없는 AI로의 경쟁'을 방지하고자 하는 의사를 표명했습니다. 그는 아스트라를 포함한 오픈AI의 현재 고급 모델들의 연산 그래프 깊이가 GPT-4의 두 배 미만이라고 명확히 하며, 우려되었던 것과 같은 아키텍처 복잡성의 급격한 증가가 없다고 밝혔습니다.
그는 초기 추론 모델이 도입된 이후 오픈AI가 사고의 사슬 모니터링을 유지하고 활용하는 것을 최우선으로 해왔다고 언급했습니다. 이 기술은 모델 정렬이 훈련 데이터에서 어떻게 일반화되는지 이해하는 데 필수적입니다. 그러나 그는 현재 사고의 사슬 모니터링이 취약하며, 아키텍처 변경과 무관한 이유로 감소해 왔음을 인정했습니다. 팀은 현재 연구의 핵심 목표인 이 능력을 강화하기 위한 조치를 구현할 계획입니다. 오픈AI는 아스트라에 강화된 사고의 사슬 모니터링을 배포할 것이라고 확인했습니다.
연산 그래프 깊이는 신경망의 복잡성을 측정하며, 입력부터 출력까지의 순차적 연산 레이어를 나타냅니다. 높은 값은 더 복잡한 구조를 의미합니다.
관련 기사
애플과 구글, 앤트로픽과 손잡고 ‘글래스 윙 프로텍션’을 통해 27년 된 보안 취약점 해결에 나선다
인공지능이 코드 생성 및 논리적 추론 분야에서 급속히 발전함에 따라, 사이버 보안 분야는 전례 없는 도전에 직면해 있습니다. 최근, 저명한 AI 스타트업인 앤트로픽(Anthropic )은 최첨단 AI 모델을 활용해 점점 더 복잡해지는 AI 기반 사이버 공격을 방어하기 위해 **“프로젝트 글래스윙(Project Glasswing)”**이라는 산업 간 협업 프
미 해군, 심해 탐사 임무 수행을 위해 ‘블루 워터 오토노미’ 선정
블루 워터 오토노미(Blue Water Autonomy)의 ‘리버티(Liberty)급’은 길이 190피트의 강철제 자율 항해 선박입니다. | 출처: 블루 워터 오토노미보스턴에 본사를 둔 기술 및 조선 기업 블루 워터 오토노미(Blue Water Autonomy)가 해군 해양학 사무소(NAVOCEANO)와 다중 수주 계약을 체결했다. 이 회사는 고해상도 해저
OpenAI, 데이터센터 전력 요금 인상 없음과 최소 물 사용 약속
전국적으로 AI 인프라에 대한 저항이 커지는 가운데, 오픈AI는 보다 협력적인 전략으로 전환하고 있습니다. 7월 23일 비즈니스인사이더의 보도에 따르면, 오픈AI는 조지아주 에핑엄 카운티에 제안된 데이터 센터 캠퍼스인 ‘프로젝트 카멜리아’에 대한 지역사회의 지지를 적극적으로 모색하고 있습니다. 사반나 근처에 위치한 약 567헥타르 규모의 이 프로젝트에는 최소 20억 달러의 투자와 약 3.2기가와트의 전력 공급이 필요합니다.오픈AI는 주 및 지
관련 특별 주제 추천
의견 (0)
0/500

9월 2일, 오픈AI의 수석 과학자 야쿱 파초키는 X에서 AI 모델 아스트라(Astra)와 관련하여 공개된 우려에 대해 답변하며, 해당 모델이 감독 없이 작동하고 투명한 추론 과정을 결여했다는 주장을 명확히 했습니다.
논란이 일어난 이유: 심층 순환이 추론 경로를 흐리게 함
이 문제는 인포메이션(The Information)의 상세한 보고서에서 비롯되었습니다. 이 보고서는 오픈AI가 '심층 순환(deep recurrence)' 기술을 실험하고 있다고 밝혔습니다. 이 접근 방식은 연구원이 모델의 '사고의 사슬(chain of thought)' 추론 과정을 추적하는 능력을 복잡하게 만들 수 있습니다.
챗GPT, 클로드, 제미나이와 같은 주류 모델은 트랜스포머 아키텍처를 기반으로 하며, 정보를 선형 단계로 처리하고 때때로 자연어로 추론을 출력합니다. 그러나 이러한 출력은 항상 내부 연산을 반영하지는 않습니다. '심층 순환'은 모델이 동일한 네트워크 레이어를 반복적으로 호출하여 내부 상태를 지속적으로 업데이트할 수 있게 합니다. 기존의 선형 구조와 달리 이 방법은 중요한 추론을 불투명한 내부 상태에 유지할 수 있어, 연구원이 사고의 사슬을 통해 의사결정 경로를 추적하기 어렵게 만듭니다. 보고서 이후 AI 커뮤니티는 이러한 기술이 외부 모니터링 도구를 방해하여 모델이 결론에 도달하는 방식에 대한 투명성을 낮출 수 있다고 우려했습니다.
파초키의 명확화: 연산 그래프 깊이는 관리 가능한 수준
파초키는 그의 게시물에서 오해의 소지가 있는 미디어 서사에 의해 주도되는 '감독 없는 AI로의 경쟁'을 방지하고자 하는 의사를 표명했습니다. 그는 아스트라를 포함한 오픈AI의 현재 고급 모델들의 연산 그래프 깊이가 GPT-4의 두 배 미만이라고 명확히 하며, 우려되었던 것과 같은 아키텍처 복잡성의 급격한 증가가 없다고 밝혔습니다.
그는 초기 추론 모델이 도입된 이후 오픈AI가 사고의 사슬 모니터링을 유지하고 활용하는 것을 최우선으로 해왔다고 언급했습니다. 이 기술은 모델 정렬이 훈련 데이터에서 어떻게 일반화되는지 이해하는 데 필수적입니다. 그러나 그는 현재 사고의 사슬 모니터링이 취약하며, 아키텍처 변경과 무관한 이유로 감소해 왔음을 인정했습니다. 팀은 현재 연구의 핵심 목표인 이 능력을 강화하기 위한 조치를 구현할 계획입니다. 오픈AI는 아스트라에 강화된 사고의 사슬 모니터링을 배포할 것이라고 확인했습니다.
연산 그래프 깊이는 신경망의 복잡성을 측정하며, 입력부터 출력까지의 순차적 연산 레이어를 나타냅니다. 높은 값은 더 복잡한 구조를 의미합니다.
애플과 구글, 앤트로픽과 손잡고 ‘글래스 윙 프로텍션’을 통해 27년 된 보안 취약점 해결에 나선다
인공지능이 코드 생성 및 논리적 추론 분야에서 급속히 발전함에 따라, 사이버 보안 분야는 전례 없는 도전에 직면해 있습니다. 최근, 저명한 AI 스타트업인 앤트로픽(Anthropic )은 최첨단 AI 모델을 활용해 점점 더 복잡해지는 AI 기반 사이버 공격을 방어하기 위해 **“프로젝트 글래스윙(Project Glasswing)”**이라는 산업 간 협업 프
미 해군, 심해 탐사 임무 수행을 위해 ‘블루 워터 오토노미’ 선정
블루 워터 오토노미(Blue Water Autonomy)의 ‘리버티(Liberty)급’은 길이 190피트의 강철제 자율 항해 선박입니다. | 출처: 블루 워터 오토노미보스턴에 본사를 둔 기술 및 조선 기업 블루 워터 오토노미(Blue Water Autonomy)가 해군 해양학 사무소(NAVOCEANO)와 다중 수주 계약을 체결했다. 이 회사는 고해상도 해저
OpenAI, 데이터센터 전력 요금 인상 없음과 최소 물 사용 약속
전국적으로 AI 인프라에 대한 저항이 커지는 가운데, 오픈AI는 보다 협력적인 전략으로 전환하고 있습니다. 7월 23일 비즈니스인사이더의 보도에 따르면, 오픈AI는 조지아주 에핑엄 카운티에 제안된 데이터 센터 캠퍼스인 ‘프로젝트 카멜리아’에 대한 지역사회의 지지를 적극적으로 모색하고 있습니다. 사반나 근처에 위치한 약 567헥타르 규모의 이 프로젝트에는 최소 20억 달러의 투자와 약 3.2기가와트의 전력 공급이 필요합니다.오픈AI는 주 및 지





집






