Дебаты по сравнению с ИИ достигли покемонов

Даже любимый мир покемонов не застрахован от драмы, связанной с бенчмарками ИИ. Недавний вирусный пост на X вызвал настоящий ажиотаж, утверждая, что последняя модель Google Gemini обогнала ведущую модель Anthropic Claude в классической трилогии видеоигр о покемонах. Согласно посту, Gemini впечатляюще добралась до Лавандового города в прямой трансляции разработчика на Twitch, в то время как Claude отставала, находясь у Горы Луны в конце февраля.

Gemini буквально опережает Claude в покемонах, добравшись до Лавандового города

Кстати, всего 119 живых просмотров, невероятно недооценённая трансляция pic.twitter.com/8AvSovAI4x

— Jush (@Jush21e8) 10 апреля 2025

Однако этот пост удобно умолчал о том, что у Gemini было небольшое несправедливое преимущество. Проницательные пользователи на Reddit быстро заметили, что разработчик трансляции Gemini создал пользовательскую минимальную карту. Этот удобный инструмент помогает модели распознавать «тайлы» в игре, такие как деревья, которые можно срубить, что значительно сокращает время, необходимое Gemini для анализа скриншотов перед принятием следующего хода.

Хотя покемоны, возможно, и не являются самым серьёзным бенчмарком для ИИ, они служат забавным, но показательным примером того, как различные настройки могут искажать результаты этих тестов. Возьмём, к примеру, последнюю модель Anthropic, Anthropic 3.7 Sonnet. На бенчмарке SWE-bench Verified, который предназначен для тестирования навыков программирования, она показала точность 62,3%. Но с «пользовательским каркасом», созданным Anthropic, этот показатель подскочил до 70,3%.

И на этом дело не заканчивается. Meta взяла одну из своих новых моделей, Llama 4 Maverick, и специально настроила её для бенчмарка LM Arena. Обычная версия модели показала гораздо худшие результаты на том же тесте.

Учитывая, что бенчмарки ИИ, включая наш дружелюбный пример с покемонами, уже сами по себе немного ненадёжны, эти пользовательские доработки и нестандартные подходы только усложняют задачу проведения значимых сравнений между моделями по мере их выхода на рынок. Похоже, сравнивать яблоки с яблоками становится всё труднее с каждым днём.