Google Gemma 3 достигает 98% точности Deepseek с одним графическим процессором.

Экономика искусственного интеллекта недавно стала основным предметом внимания, особенно после того, как стартап DeepSeek AI продемонстрировал впечатляющую экономию на масштабе при использовании чипов GPU. Но Google не собирается уступать. В среду технологический гигант представил свою последнюю модель с открытым исходным кодом — Gemma 3, которая почти соответствует точности модели R1 от DeepSeek, но использует значительно меньше вычислительных ресурсов.

Google измерил эту производительность с помощью рейтингов "Elo", системы, часто используемой в шахматах и спорте для ранжирования конкурентов. Gemma 3 получила 1338 баллов, что чуть ниже 1363 баллов R1, что означает, что R1 технически превосходит Gemma 3. Однако Google оценивает, что для достижения результата R1 потребуется 32 чипа Nvidia H100 GPU, тогда как Gemma 3 достигает своих результатов с использованием только одного H100 GPU. Google называет этот баланс вычислений и рейтинга Elo "золотой серединой".

В посте в блоге Google описывает Gemma 3 как "самую мощную модель, которую можно запустить на одном GPU или TPU", имея в виду собственный специализированный чип AI, "тензорный процессор". Компания утверждает, что Gemma 3 "обеспечивает передовую производительность для своего размера", превосходя модели, такие как Llama-405B, DeepSeek-V3 и o3-mini, в оценках предпочтений пользователей на лидерборде LMArena. Эта производительность упрощает создание увлекательного пользовательского опыта на одном GPU или TPU.

Google

Модель Google также превосходит Llama 3 от Meta по рейтингу Elo, который, по оценкам Google, потребовал бы 16 GPU. Стоит отметить, что эти цифры для конкурирующих моделей — это оценки Google; DeepSeek AI раскрыла, что для R1 использовалось 1814 менее мощных GPU H800 от Nvidia.

Более подробная информация доступна в посте для разработчиков на HuggingFace, где находится репозиторий Gemma 3. Разработанная для использования на устройствах, а не в дата-центрах, Gemma 3 имеет значительно меньшее количество параметров по сравнению с R1 и другими моделями с открытым исходным кодом. С числом параметров от 1 миллиарда до 27 миллиардов, Gemma 3 довольно скромна по современным стандартам, тогда как R1 имеет внушительные 671 миллиард параметров, хотя может выборочно использовать только 37 миллиардов.

Ключ к эффективности Gemma 3 — широко используемая техника AI, называемая дистилляцией, при которой веса обученной модели переносятся с большей модели на меньшую, улучшая её возможности. Кроме того, дистиллированная модель проходит три меры контроля качества: обучение с подкреплением на основе человеческой обратной связи (RLHF), обучение с подкреплением на основе машинной обратной связи (RLMF) и обучение с подкреплением на основе обратной связи от выполнения (RLEF). Это помогает улучшить результаты модели, делая их более полезными и улучшая её способности в математике и программировании.

Блог для разработчиков Google детализирует эти подходы, а другой пост обсуждает методы оптимизации для модели с 1 миллиардом параметров, предназначенной для мобильных устройств. К ним относятся квантование, обновление макетов кэша ключей-значений, улучшение времени загрузки переменных и совместное использование весов GPU.

Google сравнивает Gemma 3 не только по рейтингам Elo, но и с её предшественником, Gemma 2, и закрытыми моделями Gemini на различных тестах, таких как LiveCodeBench. Хотя Gemma 3 в целом уступает Gemini 1.5 и Gemini 2.0 по точности, Google отмечает, что она "демонстрирует конкурентоспособную производительность по сравнению с закрытыми моделями Gemini", несмотря на меньшее количество параметров.

Google

Значительное улучшение в Gemma 3 по сравнению с Gemma 2 — это увеличенное "контекстное окно", расширенное с 8000 до 128000 токенов. Это позволяет модели обрабатывать большие тексты, такие как целые статьи или книги. Gemma 3 также мультимодальна, способна обрабатывать как текстовые, так и графические входные данные, в отличие от своего предшественника. Кроме того, она поддерживает более 140 языков, что значительно превосходит возможности Gemma 2, ограниченные только английским.

Помимо этих основных функций, у Gemma 3 есть несколько других интересных аспектов. Одна из проблем больших языковых моделей — потенциальная возможность запоминания частей их обучающих данных, что может привести к нарушению конфиденциальности. Исследователи Google протестировали Gemma 3 на это и обнаружили, что она запоминает длинные тексты на более низком уровне, чем её предшественники, что говорит о повышенной защите конфиденциальности.

Для тех, кто интересуется деталями, технический документ Gemma 3 предоставляет подробный анализ возможностей и разработки модели.