LLM은 단순한 퍼즐에는 어려움을 겪지만 복잡한 퍼즐은 해결한다

인공지능은 크게 발전하여 대규모 언어 모델(LLM)과 그보다 진화된 대규모 추론 모델(LRM)이 기계의 텍스트 처리 및 생성 방식을 근본적으로 바꾸었습니다. 이 모델들은 에세이를 작성하고, 질문에 답하며, 심지어 수학 문제까지 해결할 수 있습니다. 그러나 흥미로운 패턴이 나타납니다: 단순한 작업은 지나치게 복잡하게 처리하는 반면, 매우 복잡한 작업에는 벽에 부딪히는 경우가 잦습니다. 최근 애플 연구는 이러한 행동에 대한 새로운 통찰을 제시한다. 본 글은 그 배경에 숨겨진 '이유'와 AI의 미래에 대한 시사점을 탐구한다.

LLM과 LRM 이해하기

이 행동을 이해하려면 먼저 모델들을 정의해야 합니다. GPT-3 같은 LLM은 방대한 텍스트 데이터셋으로 훈련되어 시퀀스 내 다음 단어를 예측하며, 생성·번역·요약에 탁월합니다. 그러나 본질적으로 논리적 추론이나 구조화된 문제 해결을 위해 설계되지는 않았습니다.

LRM은 이러한 격차를 해소하기 위해 고안되었습니다. '사유 과정(Chain-of-Thought)' 프롬프팅 같은 기법을 활용하여 모델이 최종 답변 전에 중간 추론 단계를 제시하도록 합니다. 이는 수학 문제를 단계별로 풀어가는 인간의 방식과 유사합니다. 이 기법은 복잡한 작업에서 성능을 향상시키지만, 애플 연구에 따르면 문제의 복잡도가 달라질 때 어려움이 발생합니다.

연구 방법론

애플 팀은 새로운 평가 방법을 고안했습니다. 모델이 답을 암기하는 데이터 오염 문제가 발생할 수 있는 기존 수학 또는 코딩 벤치마크를 넘어, 통제된 퍼즐 환경을 활용했습니다. 여기에는 하노이의 탑, 체커 점프, 강 건너기, 블록 월드 같은 고전 퍼즐이 포함되었습니다. 예를 들어 하노이의 탑에서는 특정 규칙에 따라 말뚝 사이로 원반을 이동시켜야 하며, 원반 수가 늘어날수록 난이도가 상승합니다. 논리적 일관성을 유지하면서 퍼즐 난이도를 체계적으로 변화시킴으로써 연구진은 스펙트럼 전반에 걸친 모델 성능을 관찰할 수 있었다. 이 접근법은 최종 답안뿐만 아니라 추론 과정 자체를 분석할 수 있게 하여, 이러한 모델들이 어떻게 '생각하는지'에 대한 통찰을 제공했다.

과도한 사고와 포기 현상에 관한 발견

이 연구는 복잡성과 연관된 세 가지 뚜렷한 수행 단계를 확인했습니다:

• 낮은 복잡도의 문제에서는 표준 LLM이 LRM보다 우수한 성능을 보입니다. LRM은 불필요한 추가 단계를 생성하며 과도하게 사고하는 경향이 있는 반면, 표준 LLM은 보다 직접적이고 효율적으로 답합니다.
• 중간 난이도에서는 LRM이 두각을 나타낸다. 상세한 추론 과정을 생성하는 능력 덕분에 이러한 과제를 효과적으로 해결한다.
• 복잡도가 높을수록 두 모델 유형 모두 완전히 실패합니다. 특히 LRM은 정확도가 급격히 떨어지며 역설적으로 난이도가 급증할수록 추론 노력을 줄입니다.

한노이 탑(두 개의 원반)과 같은 단순한 퍼즐의 경우, 표준 LLM은 효율적으로 정답을 도출했습니다. 반면 LRM은 종종 지나치게 복잡하게 생각하여 간단한 해결책에 대해 장황한 추론을 생성했습니다. 이는 LRM이 훈련 데이터에서 과장된 설명을 모방하여 비효율성을 초래할 수 있음을 시사합니다.

중간 난이도 시나리오에서는 LRM이 가장 우수한 성능을 보였습니다. 단계별 추론을 통해 다단계 논리 문제를 처리할 수 있었으며, 일관성 유지에 어려움을 겪은 표준 LLM보다 우수한 결과를 나타냈습니다.

다중 디스크 하노이 탑과 같은 고도로 복잡한 퍼즐에서는 두 모델 모두 실패했습니다. 흥미롭게도 LRM은 충분한 계산 자원을 보유했음에도 추론 노력을 축소했습니다. 이러한 '포기' 행동은 추론 능력 확장 시 핵심적 한계를 시사합니다.

이유

단순한 퍼즐에 대한 과도한 사고는 훈련 과정에서 비롯된 것으로 보인다. 이 모델들은 간결한 설명과 장황한 설명이 모두 포함된 방대한 데이터셋으로 학습한다. 쉬운 문제의 경우, 직접적인 답변으로도 해결 가능한 상황에서도 훈련 과정에서 본 장황한 예시를 모방하여 상세한 추적 기록을 생성하는 것이 기본 설정일 수 있다. 이는 반드시 결함이라기보다 순수한 효율성보다 추론 과정의 시연을 우선시하는 훈련 방식의 반영이다.

복잡한 퍼즐에서의 실패는 논리적 규칙을 일반화하는 능력의 부재를 드러냅니다. 복잡성이 증가함에 따라 패턴 매칭에 대한 의존도가 무너지면서 일관성 없는 추론과 성능 붕괴로 이어집니다. 연구에 따르면 LRM은 명시적 알고리즘을 활용하지 못하며 퍼즐 간에 일관성 없는 추론을 보입니다. 이는 이러한 모델들이 추론을 시뮬레이션할 수는 있지만 인간처럼 근본적인 논리를 진정으로 이해하지는 못함을 강조합니다.

다양한 관점

이 연구는 AI 커뮤니티 내에서 논쟁을 촉발시켰습니다. 일부 전문가들은 오해에 대한 경고를 하며, LLM과 LRM이 인간처럼 추론하지는 않더라도 특정 범위 내에서의 문제 해결 능력은 여전히 가치 있다고 주장합니다. 그들은 AI의 "추론"이 유용하기 위해 반드시 인간 인지 방식을 반영할 필요는 없다고 반박합니다. Hacker News 같은 플랫폼에서의 논의는 연구의 엄밀성을 칭찬하면서도 AI 추론을 발전시키기 위한 추가 연구의 필요성을 강조합니다. 이러한 관점들은 AI에서 추론의 본질이 무엇이며 이를 가장 효과적으로 평가하는 방법에 대한 지속적인 논의를 부각시킵니다.

시사점 및 향후 방향

이 연구 결과는 AI 개발에 상당한 시사점을 제공한다. LRM이 인간 추론을 모방하는 데 진전을 보였음에도, 복잡성과 확장성 문제에서 드러난 한계는 현재 모델이 일반화 가능한 추론 능력에 훨씬 미치지 못함을 보여준다. 이는 최종 답변 정확도뿐 아니라 추론 과정의 질과 적응성에 초점을 맞춘 새로운 평가 방법의 필요성을 강조한다.

향후 연구는 모델이 논리적 단계를 정확히 실행하고 난이도에 따라 추론 노력을 동적으로 조정하는 능력을 향상시켜야 합니다. 의료 진단이나 법률 분석과 같은 실제 세계 과제를 기반으로 한 벤치마크 개발은 더 의미 있는 통찰력을 제공할 수 있습니다. 무엇보다도 패턴 인식에 대한 과도한 의존도를 줄이고 논리적 규칙의 일반화 능력을 향상시키는 것이 AI 추론 발전을 위한 핵심이 될 것입니다.

결론

본 연구는 대규모 언어 모델(LLM)과 논리 추론 모델(LRM)의 추론 능력을 비판적으로 조명한다. 이 모델들은 단순한 퍼즐은 과도하게 분석하면서도 복잡한 문제에서는 실패하는 모습을 보여주며, 잠재력과 한계를 동시에 드러낸다. 특정 맥락에서는 효과적이지만, 고도로 복잡한 문제에서의 실패는 시뮬레이션된 추론과 진정한 이해 사이의 간극을 강조한다. 이 연구는 인간처럼 다양한 난제를 해결하며 복잡성 수준에 따라 적응적으로 추론할 수 있는 AI 시스템 개발의 필요성을 강조한다.