Tongyi Lab, FIPO 알고리즘 공개… 32B 모델 추론 성능, o1-mini를 능가

통이 랩(Tongyi Lab)의 지능형 컴퓨팅 팀은 오늘 대규모 언어 모델을 위한 새로운 사후 학습 알고리즘인 FIPO(Future-KL Influenced Policy Optimization)를 공개했다. 이 알고리즘은 순수 강화 학습(Pure RL) 훈련에서 흔히 발생하는 기술적 과제인 ‘추론 길이 정체’를 효과적으로 해결하는 새로운 ‘Future-KL’ 메커니즘을 도입합니다.
장문 추론 및 복잡한 논리적 정렬을 위한 훈련 과정에서, 기존의 강화 학습은 긴 시퀀스 내의 핵심 결정 지점을 정확하게 식별하지 못하는 경우가 많습니다. 통이 팀이 개발한 FIPO 알고리즘은 핵심 토큰에 차별화된 보상 할당을 적용함으로써, 모델이 사고 연쇄(CoT) 생성 과정에서 보다 미래 지향적인 접근 방식을 채택하도록 유도합니다.
실험 결과에 따르면, 32B 규모 모델을 사용한 순수 강화 학습 환경에서 FIPO 알고리즘을 적용한 모델은 DeepSeek-Zero-MATH 및 OpenAI의 o1-mini와 같은 유사 규모의 모델들을 이미 능가했으며, 이는 국내 대형 모델의 논리적 추론 및 수학적 계산 능력에서 상당한 진전을 보여줍니다.
현재 대형 모델 간의 경쟁은 사전 학습 규모에서 추론 시점의 심층 정합성으로 초점을 옮기고 있다. FIPO의 출시는 논리적 추론 모델의 ‘사고 과정’ 품질을 평가하는 새로운 방법을 제시할 뿐만 아니라, 오픈소스 커뮤니티와 국내 주요 연구소들이 세계적 수준의 추론 모델을 추구하며 점차 독자적인 기술적 길을 개척하고 있음을 시사한다.
관련 기사
Ctrip 비즈니스 트래블, 7개 업계 에이전트와 17가지 핵심 기능을 갖춘 AI 생태계 공개
Ctrip Business Travel은 대규모 언어 모델을 활용해 기업 출장 관리를 근본적으로 재구축하는 ‘Ctrip Business Travel AI 생태계’를 공식적으로 선보였습니다. 이 포괄적인 생태계는 여행 일정 수립, 여행 관리, 조달, 역량 공유라는 네 가지 핵심 시나리오를 다룹니다. 또한 여행 관련 질의응답, 일정 예약, 승인, 인사이트, 규
AI 모델 라우팅이 주목받으면서 스트라이프, 오픈라우터 인수 예정
스트라이프(Stripe)는 개발자들이 단일 인터페이스를 통해 수백 개의 모델에 접근할 수 있게 해주는 AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)를 인수하기로 합의했습니다. 이번 인수를 통해 스트라이프의 기존 AI 활용 및 토큰 기반 청구 관련 사업에 모델 선택 및 라우팅 기능이 추가됩니다.스트라이프에 따르면, 오픈라우터는 80개 이상의 공급
전 OpenAI 연구원 배럿 조프, 제미니 개발 지원을 위해 구글로 복귀
이전에 Thinking Machines Lab의 CEO인 미리암 물라라티와 의견 차이로 갑작스럽게 퇴사한 뒤 OpenAI에 합류했던 바렛 조프가 다시 한 번 직장을 옮겼다. 알파벳 산하 구글은 조프가 연구 부사장으로 복귀해 강화 학습 및 사후 훈련 분야의 전문성을 제미니 팀에 기여할 것이라고 발표했다.“회전문” 연구원의 순환조프의 경력은 AI 인재 이동의
관련 특별 주제 추천
의견 (0)
0/500

통이 랩(Tongyi Lab)의 지능형 컴퓨팅 팀은 오늘 대규모 언어 모델을 위한 새로운 사후 학습 알고리즘인 FIPO(Future-KL Influenced Policy Optimization)를 공개했다. 이 알고리즘은 순수 강화 학습(Pure RL) 훈련에서 흔히 발생하는 기술적 과제인 ‘추론 길이 정체’를 효과적으로 해결하는 새로운 ‘Future-KL’ 메커니즘을 도입합니다.
장문 추론 및 복잡한 논리적 정렬을 위한 훈련 과정에서, 기존의 강화 학습은 긴 시퀀스 내의 핵심 결정 지점을 정확하게 식별하지 못하는 경우가 많습니다. 통이 팀이 개발한 FIPO 알고리즘은 핵심 토큰에 차별화된 보상 할당을 적용함으로써, 모델이 사고 연쇄(CoT) 생성 과정에서 보다 미래 지향적인 접근 방식을 채택하도록 유도합니다.
실험 결과에 따르면, 32B 규모 모델을 사용한 순수 강화 학습 환경에서 FIPO 알고리즘을 적용한 모델은 DeepSeek-Zero-MATH 및 OpenAI의 o1-mini와 같은 유사 규모의 모델들을 이미 능가했으며, 이는 국내 대형 모델의 논리적 추론 및 수학적 계산 능력에서 상당한 진전을 보여줍니다.
현재 대형 모델 간의 경쟁은 사전 학습 규모에서 추론 시점의 심층 정합성으로 초점을 옮기고 있다. FIPO의 출시는 논리적 추론 모델의 ‘사고 과정’ 품질을 평가하는 새로운 방법을 제시할 뿐만 아니라, 오픈소스 커뮤니티와 국내 주요 연구소들이 세계적 수준의 추론 모델을 추구하며 점차 독자적인 기술적 길을 개척하고 있음을 시사한다.
Ctrip 비즈니스 트래블, 7개 업계 에이전트와 17가지 핵심 기능을 갖춘 AI 생태계 공개
Ctrip Business Travel은 대규모 언어 모델을 활용해 기업 출장 관리를 근본적으로 재구축하는 ‘Ctrip Business Travel AI 생태계’를 공식적으로 선보였습니다. 이 포괄적인 생태계는 여행 일정 수립, 여행 관리, 조달, 역량 공유라는 네 가지 핵심 시나리오를 다룹니다. 또한 여행 관련 질의응답, 일정 예약, 승인, 인사이트, 규
AI 모델 라우팅이 주목받으면서 스트라이프, 오픈라우터 인수 예정
스트라이프(Stripe)는 개발자들이 단일 인터페이스를 통해 수백 개의 모델에 접근할 수 있게 해주는 AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)를 인수하기로 합의했습니다. 이번 인수를 통해 스트라이프의 기존 AI 활용 및 토큰 기반 청구 관련 사업에 모델 선택 및 라우팅 기능이 추가됩니다.스트라이프에 따르면, 오픈라우터는 80개 이상의 공급
전 OpenAI 연구원 배럿 조프, 제미니 개발 지원을 위해 구글로 복귀
이전에 Thinking Machines Lab의 CEO인 미리암 물라라티와 의견 차이로 갑작스럽게 퇴사한 뒤 OpenAI에 합류했던 바렛 조프가 다시 한 번 직장을 옮겼다. 알파벳 산하 구글은 조프가 연구 부사장으로 복귀해 강화 학습 및 사후 훈련 분야의 전문성을 제미니 팀에 기여할 것이라고 발표했다.“회전문” 연구원의 순환조프의 경력은 AI 인재 이동의





집






