AI Reasoning Model Progress May Plateau by 2026, Epoch AI Study Suggests

비영리 AI 연구소인 Epoch AI의 연구에 따르면, AI 산업은 추론 AI 모델의 성능 향상에 있어 곧 도전에 직면할 수 있습니다. 보고서는 이러한 모델의 발전이 내년 내에 둔화될 수 있다고 예측합니다.

OpenAI의 o3와 같은 고급 추론 모델은 최근 AI 벤치마크, 특히 수학 및 코딩 작업에서 주목할 만한 개선을 이끌어냈습니다. 이러한 모델은 성능 향상을 위해 더 많은 계산 능력을 활용하지만, 이는 종종 전통적인 모델에 비해 더 긴 처리 시간을 초래합니다.

추론 모델은 방대한 데이터셋에서 표준 모델을 처음 훈련시킨 후, 모델이 문제 해결 능력을 개선하도록 피드백을 제공하는 강화 학습을 통해 만들어집니다.

Epoch에 따르면, OpenAI와 같은 선도적인 AI 연구소는 아직 추론 모델 개발의 강화 학습 단계에서 계산 자원을 많이 활용하지 않았습니다.

이러한 추세는 변화하고 있습니다. OpenAI는 o3 훈련에 이전 모델인 o1에 비해 약 10배 더 많은 계산 능력을 사용했다고 밝혔으며, Epoch는 이 중 대부분이 강화 학습에 할당되었다고 제안합니다. OpenAI 연구원 Dan Roberts는 최근 회사가 강화 학습에 더욱 우선순위를 두고, 초기 모델 훈련보다 더 많은 계산 자원을 사용할 계획이라고 밝혔습니다.

그러나 Epoch는 강화 학습에 적용할 수 있는 계산 능력에는 한계가 있다고 지적합니다.

Epoch의 분석가이자 연구 저자인 Josh You는 현재 표준 AI 모델 훈련의 성능 향상이 매년 4배씩 증가하고 있으며, 강화 학습의 성능 향상은 3~5개월마다 10배씩 증가하고 있다고 말합니다. 그는 추론 모델의 발전이 2026년까지 전체 AI 발전과 비슷한 수준이 될 것이라고 예측합니다.

TechCrunch Sessions: AI에서 쇼케이스

TC Sessions: AI에서 1,200명 이상의 의사결정자에게 여러분의 혁신을 선보일 자리를 예약하세요. 비용을 들이지 않고 가능합니다. 5월 9일까지 또는 자리가 남아 있는 동안 가능합니다.

TechCrunch Sessions: AI에서 쇼케이스

TC Sessions: AI에서 1,200명 이상의 의사결정자에게 여러분의 혁신을 선보일 자리를 예약하세요. 비용을 들이지 않고 가능합니다. 5월 9일까지 또는 자리가 남아 있는 동안 가능합니다.

Epoch의 연구는 특정 가정을 기반으로 하며 AI 산업 리더들의 공개 성명을 포함합니다. 또한 추론 모델의 규모 확대는 계산 한계 외에도 높은 연구 오버헤드 비용과 같은 장애물에 직면할 수 있다고 강조합니다.

“지속적인 연구 비용은 추론 모델의 확장성을 제한할 수 있습니다,”라고 You는 설명합니다. “빠른 계산 규모 확대가 그들의 발전의 핵심 요소이기 때문에, 이는 면밀한 주의가 필요합니다.”

추론 모델이 곧 성능 한계에 도달할 수 있다는 어떠한 징후는 AI 산업에서 우려를 불러일으킬 수 있으며, 이 산업은 그들의 개발에 크게 투자해 왔습니다. 연구는 이미 이러한 모델이 높은 운영 비용에도 불구하고, 일부 전통적인 모델에 비해 부정확한 출력을 생성하는 경향이 더 높다는 등 주목할 만한 결함이 있음을 나타냅니다.