ИИ побеждает на олимпиадах, но не справляется с базовой школьной математикой

2025 год ознаменовался знаменательным событием: системы Google DeepMind и OpenAI получили золотые медали на Международной математической олимпиаде. Эти модели искусственного интеллекта решили задачи, которые обычно по плечу лишь немногим самым способным молодым математикам мира. Однако эти же системы часто спотыкаются на элементарной арифметике, с которой может справиться любой ученик средней школы. Этот поразительный парадокс раскрывает нечто фундаментальное в современном ИИ: мы являемся свидетелями появления неровного интеллекта, когда машины демонстрируют сверхчеловеческие способности в определенных областях, но при этом терпят неудачу при решении задач, которые мы считаем элементарными.

Триумф олимпиады

Международная математическая олимпиада является вершиной математического соревнования до поступления в университет. Каждый год лучшие студенты решают шесть задач, требующих глубокой проницательности, творческого подхода и передовых методов доказательства. В 2025 году ИИ от Google DeepMind и OpenAI набрали 35 из 42 баллов, получив золотые медали. AlphaGeometry 2 от DeepMind решил сложную задачу по геометрии всего за 19 секунд, а AlphaProof справился с задачами по теории чисел и алгебре, которые поставили в тупик большинство участников-людей.

Эти прорывы стали результатом многолетнего стабильного прогресса. Системы используют формальные математические языки, такие как Lean, для построения строгих доказательств и применяют такие методы, как обучение по учебной программе, тренируясь на задачах повышенной сложности. Этот процесс позволяет ИИ постигать сложные взаимосвязи между математическими объектами, распознавать тонкие закономерности и формулировать элегантные доказательства.

Элементарная борьба

ИИ, побеждающий на олимпиадах, часто не справляется с тривиальными, на первый взгляд, задачами. Если его попросить перемножить большие числа, он может уверенно выдать неверный ответ. Его действия при выполнении других базовых арифметических операций могут быть столь же непредсказуемыми. Проблема выходит за рамки простых вычислений. Эти системы часто испытывают трудности при решении задач, требующих отслеживания нескольких величин, понимания контекста реального мира или последовательного применения фундаментальных операций.

Эта слабость коренится в том, как работают эти модели. Большие языковые модели предсказывают следующий фрагмент текста на основе шаблонов в обучающих данных. Когда они видят "2 + 2", они правильно выводят "4" не потому, что понимают сложение, а потому, что эта последовательность повсеместно встречается в их обучении. Предложите им необычные, редко встречающиеся вычисления, и их производительность упадет. Они - двигатели по подбору шаблонов, отлично справляющиеся с четкими, последовательными шаблонами, но испытывающие трудности, когда их заставляют вычислять что-то новое.

Парадокс архитектуры

Противоречие между олимпиадным успехом и арифметическим провалом указывает на более глубокую архитектурную проблему. Современный искусственный интеллект отлично справляется с проблемами, решаемыми с помощью распознавания образов, логического вывода и систематического исследования пространства решений. Олимпиадные задачи, несмотря на их сложность, часто обладают элегантными структурами, которые ИИ может использовать. Системы могут исследовать стратегии доказательства, проверять логические шаги и опираться на установленные математические рамки, работая в мире, управляемом символами, правилами и логикой.

Базовая арифметика, как ни парадоксально, представляет собой другую задачу. Она требует точного манипулирования величинами, а не подбора шаблонов. Она требует понимания числовых величин и отношений, которые не поддаются аппроксимации. Когда модель ИИ относится к арифметике как к задаче языкового моделирования, она рассматривает числа как лексемы, которые нужно предсказать, а не как величины, которые нужно вычислить. Это фундаментальное несоответствие между требованиями задачи и архитектурой модели создает наблюдаемый разрыв в производительности.

Обучающие данные и их ограничения

Возможности ИИ в значительной степени определяются обучающими данными. Математические доказательства и сложные задачи часто существуют в сети в хорошо структурированных форматах, таких как академические статьи, учебники и образовательные ресурсы, которые предоставляют наглядные примеры рассуждений. Интернет изобилует обсуждениями математических концепций и стратегий решения задач, создавая богатый корпус для обучения развитому мышлению.

С начальной математикой дело обстоит иначе. Хотя базовые арифметические действия часто встречаются в Интернете, они редко сопровождаются подробными объяснениями процесса, лежащего в их основе. Простые вычисления излагаются как факты, а не объясняются как процедуры. Учебные данные содержат результаты вычислений, но не пошаговое обоснование, что создает пробел в понимании, который проявляется в плохом выполнении фундаментальных задач.

Последствия для развития ИИ

Неравномерность интеллекта имеет важнейшие последствия для разработки и внедрения ИИ. Успех в сложных задачах не гарантирует компетентности в более простых. ИИ, который доказывает теоремы, может не справиться с балансировкой чековой книжки; система, которая пишет код, может испытывать трудности с элементарным счетом. Эта реальность требует тщательной оценки возможностей и ограничений для реальных приложений.

Это явление также подчеркивает ценность гибридных подходов. Вместо того чтобы ожидать, что одна модель справится со всем, нам могут понадобиться специализированные системы для разных задач. Сочетание символьных вычислений для арифметики с языковыми моделями для рассуждений может дать более надежные решения. Будущее может быть за объединением нескольких специализированных систем, а не за созданием единого монолитного интеллекта.

Путь вперед

Признание неравномерности интеллекта проясняет путь к созданию более способного ИИ. Исследователи разрабатывают способы интеграции вычислительных инструментов в языковые модели, позволяющие переложить арифметику на специальные калькуляторы. Новые стратегии обучения учат модели использовать внешние инструменты вместо того, чтобы впитывать каждый навык. Это отражает человеческий интеллект, где мы используем инструменты для вычислений и фокусируем нашу умственную энергию на рассуждениях более высокого уровня.

В конечном итоге парадокс неровного интеллекта учит смирению. Эти системы не являются ни универсально превосходными, ни универсально ограниченными. Они обладают сложным набором сильных и слабых сторон, которые мы должны понять, чтобы эффективно использовать и совершенствовать их. Прогресс требует не только расширения возможностей ИИ, но и устранения его фундаментальных недостатков. Машины, которые доказывают теоремы, но не справляются с элементарным дополнением, напоминают нам, что интеллект - искусственный или человеческий - остается многогранным явлением, не поддающимся простому определению.

Итог

Способность ИИ решать олимпиадные задачи, но не решать простую математику, свидетельствует о том, что интеллект развивается неравномерно. Система может быть блестящей в одной области и удивительно слабой в другой. Понимание этого неровного профиля необходимо для разработки и ответственного применения ИИ. Вместо того чтобы создавать единую модель для всех задач, решение может заключаться в сочетании различных подходов, использующих сильные стороны каждой системы. Прогресс в реальном мире будет достигнут благодаря созданию ИИ, который будет надежно работать на практике, а не благодаря предположениям, что он преуспеет во всем.