AI가 올림피아드를 이겼지만 기초 학교 수학에서는 어려움을 겪다

2025년은 구글 딥마인드와 OpenAI 시스템이 국제 수학 올림피아드에서 금메달을 획득하는 놀라운 성과를 거둔 해였습니다. 이 AI 모델은 일반적으로 세계에서 가장 뛰어난 젊은 수학자 중 일부만이 풀 수 있는 문제를 해결했습니다. 그러나 이러한 시스템은 중학생이라면 누구나 다룰 수 있는 기본적인 산술 문제에서도 자주 실수합니다. 이 놀라운 역설은 현대 AI의 근본적인 문제를 드러내는데, 기계가 특정 영역에서는 초인적인 능력을 발휘하는 반면 우리가 초보적이라고 생각하는 작업에서는 실패하는 '들쭉날쭉한 지능'의 출현을 목격하고 있다는 것입니다.

올림피아드 승리

국제 수학 올림피아드는 대학 진학 전 수학 경시 대회의 정점을 찍는 대회입니다. 매년 최고의 학생들이 깊은 통찰력, 창의력, 고급 증명 기술을 필요로 하는 6가지 문제를 해결합니다. 2025년에는 구글 딥마인드와 OpenAI의 AI가 42점 만점에 35점을 획득하여 금메달을 획득했습니다. 딥마인드의 알파기하학 2는 복잡한 기하학 문제를 단 19초 만에 풀었고, 알파프루프는 대부분의 인간 참가자들을 당황하게 했던 수론과 대수 문제를 해결했습니다.

이러한 혁신은 수년간의 꾸준한 발전을 바탕으로 이루어졌습니다. 이 시스템은 Lean과 같은 공식 수학 언어를 사용하여 엄격한 증명을 구성하고 커리큘럼 학습, 난이도가 높아지는 문제에 대한 훈련과 같은 방법을 사용합니다. 이 과정을 통해 AI는 수학적 개체 간의 복잡한 관계를 파악하고 미묘한 패턴을 인식하며 우아한 증명을 공식화할 수 있습니다.

원초적 투쟁

올림피아드에서 승리하는 인공지능도 사소해 보이는 문제에서 종종 흔들립니다. 큰 숫자를 곱하라는 요청을 받으면 자신 있게 오답을 내놓을 수 있습니다. 다른 기본적인 산술 연산에서도 마찬가지로 예측하기 어려울 수 있습니다. 문제는 단순한 계산을 넘어서는 것입니다. 이러한 시스템은 여러 수량을 추적하거나, 실제 상황을 이해하거나, 기본 연산을 순차적으로 적용해야 하는 단어 문제에서 어려움을 겪는 경우가 많습니다.

이러한 약점은 이러한 모델이 작동하는 방식에 뿌리를 두고 있습니다. 대규모 언어 모델은 학습 데이터의 패턴을 기반으로 다음 텍스트를 예측합니다. '2 + 2'를 볼 때 '4'를 정확하게 출력하는 것은 덧셈을 이해해서가 아니라 이 순서가 학습에 자주 등장하기 때문입니다. 이들에게 자주 볼 수 없는 비정상적인 계산을 제시하면 성능이 급격히 떨어집니다. 이들은 패턴 매칭 엔진으로, 명확하고 일관된 패턴에서는 탁월하지만 새로운 것을 계산해야 할 때는 어려움을 겪습니다.

아키텍처의 역설

올림피아드 성공과 연산 실패 사이의 모순은 더 깊은 아키텍처 문제를 지적합니다. 최신 AI는 패턴 인식, 논리적 추론, 솔루션 공간의 체계적 탐색을 통해 해결할 수 있는 문제에서 탁월한 능력을 발휘합니다. 올림피아드 문제는 어렵기는 하지만 종종 AI가 활용할 수 있는 우아한 구조를 가지고 있습니다. 시스템은 증명 전략을 탐색하고, 논리적 단계를 검증하며, 기호, 규칙, 논리가 지배하는 세계에서 작동하는 확립된 수학적 프레임워크를 기반으로 구축할 수 있습니다.

기본 산술은 역설적이게도 다른 과제를 제시합니다. 패턴 매칭이 아니라 수량을 정밀하게 조작해야 하기 때문입니다. 근사치가 불가능한 숫자의 크기와 관계에 대한 이해가 필요합니다. AI 모델이 산술을 언어 모델링 작업으로 처리할 때 숫자를 계산할 수량이 아닌 예측할 토큰으로 간주합니다. 이러한 작업 요구 사항과 모델 아키텍처 간의 근본적인 불일치로 인해 관찰된 성능 차이가 발생합니다.

학습 데이터와 그 한계

AI 기능은 학습 데이터에 의해 크게 좌우됩니다. 수학적 증명과 고급 문제는 학술 논문, 교과서, 교육 자료와 같이 추론의 명확한 예를 제공하는 잘 구조화된 형식으로 온라인에 존재하는 경우가 많습니다. 인터넷에는 수학적 개념과 문제 해결 전략에 대한 토론이 풍부하여 고급 사고를 학습할 수 있는 풍부한 말뭉치가 있습니다.

초등 수학은 다른 문제에 직면해 있습니다. 기본적인 산술은 온라인에서 흔히 볼 수 있지만, 그 기본 과정에 대한 자세한 설명이 동반되는 경우는 드뭅니다. 간단한 계산은 절차에 대한 설명이 아닌 사실로만 설명됩니다. 학습 데이터에는 계산 결과는 포함되어 있지만 단계별 추론은 포함되어 있지 않기 때문에 이해의 격차가 발생하여 기본 작업에 대한 성능 저하로 나타납니다.

AI 개발에 대한 시사점

이러한 들쭉날쭉한 인텔리전스는 AI 설계 및 배포에 중요한 영향을 미칩니다. 복잡한 작업에서 성공했다고 해서 간단한 작업에서도 능숙함을 보장할 수는 없습니다. 정리를 증명하는 AI가 수표책의 잔액을 맞추지 못할 수도 있고, 코드를 작성하는 시스템이 기본적인 계산에 어려움을 겪을 수도 있습니다. 이러한 현실은 실제 애플리케이션에 대한 능력과 한계를 신중하게 평가할 것을 요구합니다.

이러한 현상은 또한 하이브리드 접근 방식의 가치를 강조합니다. 단일 모델이 모든 것을 처리할 수 있기를 기대하기보다는 다양한 작업에 특화된 시스템이 필요할 수 있습니다. 산술을 위한 기호 연산과 추론을 위한 언어 모델을 결합하면 보다 안정적인 솔루션을 얻을 수 있습니다. 미래에는 하나의 단일화된 인텔리전스를 추구하기보다는 여러 전문화된 시스템을 조율하는 것이 더 중요할 수 있습니다.

앞으로 나아갈 길

들쭉날쭉한 지능을 인정하는 것은 더 뛰어난 AI를 향한 길을 명확히 합니다. 연구원들은 계산 도구를 언어 모델에 통합하여 연산을 전용 계산기에 맡길 수 있는 방법을 개발하고 있습니다. 새로운 학습 전략은 모델이 모든 기술을 내면화하는 대신 언제 외부 도구를 사용해야 하는지 알려줍니다. 이는 계산을 위해 도구를 사용하고 더 높은 수준의 추론에 정신 에너지를 집중하는 인간의 지능을 반영합니다.

궁극적으로 들쭉날쭉한 지능의 역설은 겸손을 가르칩니다. 이러한 시스템은 보편적으로 우월하지도 않고 일률적으로 제한되지도 않습니다. 인공지능은 강점과 약점이 복잡하게 얽혀 있으며, 이를 효과적으로 활용하고 개선하기 위해서는 이를 이해해야 합니다. 발전을 위해서는 AI의 기능을 확장하는 것뿐만 아니라 근본적인 격차를 해소하는 것도 필요합니다. 정리를 증명하면서도 기본적인 덧셈에 실패하는 기계는 인공지능이든 인간이든 지능은 단순한 정의를 내릴 수 없는 다면적인 현상이라는 사실을 상기시켜 줍니다.

결론

AI가 올림피아드 문제를 풀 수 있지만 단순한 수학은 풀지 못하는 것은 지능이 불균등하게 발달한다는 것을 보여줍니다. 어떤 시스템은 한 영역에서는 탁월하지만 다른 영역에서는 의외로 취약할 수 있습니다. 이러한 들쭉날쭉한 프로파일을 이해하는 것은 책임감 있게 AI를 설계하고 적용하는 데 필수적입니다. 모든 작업에 단일 모델을 적용하는 대신 각 시스템의 강점을 활용하는 다양한 접근 방식을 결합하는 것이 해결책이 될 수 있습니다. 실제적인 발전은 AI가 모든 일에 탁월할 것이라는 가정이 아니라 실제로 안정적으로 작동하는 AI를 구축하는 데서 비롯될 것입니다.