DeepMind의 AI는 IMO 금메달리스트보다 우수합니다

구글 딥마인드의 최신 AI, AlphaGeometry2는 국제 수학 올림피아드(IMO)에서 기하학 문제를 해결하는 데 있어 평균 금메달리스트를 능가하며 화제를 모았다. 지난 1월에 공개된 AlphaGeometry의 업그레이드 버전으로, 지난 25년간의 IMO 기하학 문제 중 84%를 해결했다.

딥마인드가 고등학교 수학 대회에 집중하는 이유가 궁금할 수 있다. 그들은 이러한 도전적인 유클리드 기하학 문제를 해결하는 것이 더 발전된 AI 개발의 디딤돌이 될 수 있다고 믿는다. 이를 해결하려면 논리적 추론과 다양한 해결 경로를 탐색하는 능력이 필요하며, 이는 미래의 범용 AI 시스템에 필수적일 수 있다.

이번 여름, 딥마인드는 AlphaGeometry2와 공식 수학 추론을 위해 설계된 또 다른 AI 모델인 AlphaProof를 결합한 시스템을 선보였다. 이들은 2024년 IMO의 6개 문제 중 4개를 해결했다. 이 접근법은 기하학을 넘어 복잡한 공학 계산과 같은 수학 및 과학의 다른 영역으로 확장될 가능성이 있다.

AlphaGeometry2는 구글의 Gemini 패밀리에서 가져온 언어 모델과 "심볼릭 엔진"을 포함한 몇 가지 핵심 구성 요소로 구동된다. Gemini 모델은 수학적 규칙을 적용하여 솔루션을 찾는 심볼릭 엔진을 지원하며, 기하학 정리 증명을 생성한다.

IMO에서 기하학 문제는 종종 점, 선, 원과 같은 "구성 요소"를 다이어그램에 추가해야 해결할 수 있다. AlphaGeometry2의 Gemini 모델은 어떤 구성 요소가 유용할지 예측하여 심볼릭 엔진이 추론을 하도록 안내한다.

작동 방식은 다음과 같다: Gemini 모델은 공식 수학 언어로 단계와 구성을 제안하고, 엔진은 이를 논리적 일관성을 확인한다. AlphaGeometry2는 검색 알고리즘을 사용하여 여러 해결 경로를 동시에 탐색하고 잠재적으로 유용한 결과를 공유 지식 베이스에 저장한다.

문제가 "해결"된 것으로 간주되려면 AlphaGeometry2가 Gemini 모델의 제안과 심볼릭 엔진의 알려진 원리를 결합하여 완전한 증명을 형성해야 한다.

사용 가능한 기하학 훈련 데이터가 부족했기 때문에, 딥마인드는 AlphaGeometry2의 언어 모델을 훈련시키기 위해 3억 개 이상의 다양한 복잡성의 정리와 증명을 생성한 합성 데이터를 만들었다.

딥마인드 팀은 2000년부터 2024년까지의 IMO 기하학 문제 45개를 50개로 확장하여 AlphaGeometry2를 테스트했으며, 이 중 42개를 해결하여 평균 금메달리스트 점수인 40.9를 넘어섰다.

그러나 AlphaGeometry2에는 한계가 있다. 가변적인 점의 수, 비선형 방정식, 부등식을 포함한 문제에서 어려움을 겪는다. 금메달 수준의 성능을 달성한 최초의 AI는 아니지만, 이렇게 큰 문제 세트에서 이를 달성한 첫 번째 AI다.

아직 대회에 등장하지 않은 29개의 IMO 후보 문제로 구성된 더 어려운 세트에서는 AlphaGeometry2가 20개만 해결할 수 있었다.

이 연구 결과는 AI 시스템 구축의 최적 접근 방식에 대한 논쟁을 불러일으킬 가능성이 크다. 지식을 나타내는 심볼을 조작하는 규칙을 사용하는 심볼 조작에 초점을 맞춰야 할까, 아니면 인간 뇌의 구조를 모방하고 데이터에서 학습하는 신경망에 초점을 맞춰야 할까?

AlphaGeometry2는 Gemini 모델의 신경망 구조와 규칙 기반 심볼릭 엔진을 결합한 하이브리드 접근 방식을 취한다.

신경망 지지자들은 방대한 데이터와 컴퓨팅 파워에서 지능적 행동이 나타날 수 있다고 주장한다. 반면, 심볼릭 AI 지지자들은 지식을 인코딩하고 복잡한 시나리오를 추론하며 해결책을 설명하는 데 더 적합하다고 믿는다.

카네기멜론 대학교의 AI 전문 컴퓨터 과학 교수 빈스 콘itzer는 IMO와 같은 벤치마크에서의 인상적인 진전과 언어 모델이 단순한 상식 문제에서 여전히 어려움을 겪는 점 간의 대조를 언급했다. 그는 이러한 시스템과 그들이 초래하는 위험을 더 잘 이해할 필요성을 강조했다.

AlphaGeometry2는 심볼 조작과 신경망을 결합하는 것이 일반화 가능한 AI를 위한 유망한 길일 수 있음을 시사한다. 흥미롭게도 딥마인드 팀은 AlphaGeometry2의 언어 모델이 심볼릭 엔진의 도움 없이 문제에 대한 부분적 해결책을 생성할 수 있음을 발견했으며, 이는 언어 모델이 미래에 자급자족할 가능성을 암시한다.

그러나 팀은 언어 모델의 속도가 개선되고 환각 문제가 해결될 때까지 심볼릭 엔진과 같은 도구가 수학 응용 분야에서 필수적일 것이라고 언급했다.