ИИ DeepMind превосходит золотые призеры IMO

Последний ИИ Google DeepMind, AlphaGeometry2, превзошел среднего золотого медалиста, решая геометрические задачи на Международной математической олимпиаде (IMO). Эта улучшенная версия AlphaGeometry, представленная в январе, решила 84% геометрических задач из IMO за последние 25 лет.

Почему DeepMind сосредоточился на школьном математическом конкурсе? Они считают, что решение сложных задач евклидовой геометрии может стать шагом к созданию более продвинутого ИИ. Это требует логического мышления и умения выбирать пути решения, что важно для будущих универсальных ИИ-систем.

Этим летом DeepMind представил систему, объединяющую AlphaGeometry2 с AlphaProof, другой моделью ИИ для формального математического мышления. Вместе они решили четыре из шести задач IMO 2024. Этот подход может быть применен к другим областям математики и науки, например, к сложным инженерным расчетам.

AlphaGeometry2 работает на основе языковой модели из семейства Gemini от Google и "символического движка". Модель Gemini помогает движку, применяющему математические правила, создавать доказательства для геометрических теорем.

В IMO геометрические задачи часто требуют добавления "конструкций", таких как точки, линии или окружности, к диаграммам. Модель Gemini в AlphaGeometry2 предсказывает полезные конструкции, помогая символическому движку делать выводы.

Как это работает: модель Gemini предлагает шаги и конструкции на формальном математическом языке, а движок проверяет их логическую согласованность. AlphaGeometry2 использует алгоритм поиска для одновременного исследования нескольких путей решения и сохраняет полезные находки в общей базе знаний.

Задача считается "решенной", когда AlphaGeometry2 комбинирует предложения модели Gemini с известными принципами символического движка для создания полного доказательства.

Из-за нехватки подходящих данных для обучения геометрии DeepMind создал синтетические данные, сгенерировав более 300 миллионов теорем и доказательств различной сложности для тренировки языковой модели AlphaGeometry2.

Команда DeepMind протестировала AlphaGeometry2 на 45 геометрических задачах из IMO 2000–2024 годов, расширив их до 50. AlphaGeometry2 решил 42, превзойдя средний результат золотого медалиста — 40,9.

Однако у AlphaGeometry2 есть ограничения. Он затрудняется с задачами, включающими переменное количество точек, нелинейные уравнения и неравенства. Хотя это не первый ИИ, достигший уровня золотой медали в геометрии, он первый, решивший такой большой набор задач.

На более сложном наборе из 29 номинированных задач IMO, еще не использованных в соревнованиях, AlphaGeometry2 решил только 20.

Результаты исследования, вероятно, вызовут дальнейшие споры о лучшем подходе к созданию ИИ. Следует ли сосредоточиться на манипуляции символами, где ИИ использует правила для работы с символами, представляющими знания, или на нейронных сетях, имитирующих структуру человеческого мозга и обучающихся на данных?

AlphaGeometry2 использует гибридный подход, комбинируя архитектуру нейронной сети модели Gemini с символическим движком, основанным на правилах.

Сторонники нейронных сетей утверждают, что интеллектуальное поведение может возникать из огромных объемов данных и вычислительных мощностей. Напротив, сторонники символического ИИ считают, что он лучше подходит для кодирования знаний, рассуждений в сложных сценариях и объяснения решений.

Винс Конitzer, профессор компьютерных наук Университета Карнеги-Меллон, специализирующийся на ИИ, отметил контраст между впечатляющим прогрессом в тестах, таких как IMO, и продолжающимися трудностями языковых моделей с простыми задачами здравого смысла. Он подчеркнул необходимость лучшего понимания этих систем и связанных с ними рисков.

AlphaGeometry2 показывает, что сочетание манипуляции символами и нейронных сетей может быть перспективным путем к созданию универсального ИИ. Интересно, что команда DeepMind обнаружила, что языковая модель AlphaGeometry2 может генерировать частичные решения задач без помощи символического движка, намекая на потенциал языковых моделей стать самодостаточными в будущем.

Однако команда отметила, что, пока скорость языковых моделей не улучшится и проблема галлюцинаций не будет решена, инструменты, такие как символические движки, останутся необходимыми для математических приложений.