Gemma 2 теперь доступна для исследователей, разработчиков

ИИ обладает потенциалом для решения некоторых из самых сложных задач, с которыми мы сталкиваемся сегодня — но только при условии, что каждый сможет получить доступ к инструментам для его использования. Поэтому мы начали год с представления Gemma, набора легковесных, передовых открытых моделей, созданных на основе той же технологии, что и наши модели Gemini. С тех пор мы расширили семейство Gemma, добавив CodeGemma, RecurrentGemma и PaliGemma, каждая из которых предназначена для различных задач ИИ и легко доступна через партнерства с компаниями, такими как Hugging Face, NVIDIA и Ollama.

Теперь мы рады объявить о глобальном выпуске Gemma 2 для исследователей и разработчиков. Доступная в размерах 9 миллиардов (9B) и 27 миллиардов (27B) параметров, Gemma 2 предлагает превосходную производительность и эффективность по сравнению со своим предшественником, с значительными улучшениями в области безопасности. Версия 27B — это настоящий мощный инструмент, способный конкурировать с моделями, которые более чем в два раза превышают её по размеру, и она может работать на одном GPU NVIDIA H100 Tensor Core или хосте TPU, что значительно снижает затраты на развертывание. Довольно круто, что мы смогли достичь высокой производительности, не разоряя бюджет, правда?

Новый стандарт эффективности и производительности в открытых моделях

Мы приложили много усилий к переработке архитектуры Gemma 2, стремясь к высочайшей производительности и эффективности. Вот что выделяет её:

• Превосходная производительность: С 27 миллиардами параметров Gemma 2 лидирует в своём классе, даже конкурируя с моделями, которые более чем в два раза превышают её по размеру. Версия 9B также впечатляет, превосходя Llama 3 8B и другие открытые модели в своей категории. Все подробности можно найти в техническом отчете.
• Непревзойденная эффективность и экономия: Gemma 2 с 27 миллиардами параметров работает плавно при полной точности на одном хосте Google Cloud TPU, GPU NVIDIA A100 80GB Tensor Core или GPU NVIDIA H100 Tensor Core, что позволяет снизить затраты без ущерба для производительности. Это делает развертывание ИИ более доступным и бюджетным.
• Молниеносная скорость обработки на разных устройствах: Gemma 2 разработана для быстрой работы на всём, от игровых ноутбуков и высокопроизводительных настольных компьютеров до облачных систем. Вы можете протестировать её при полной точности в Google AI Studio, запустить локально с квантованной версией на Gemma.cpp на вашем CPU или попробовать на домашнем компьютере с NVIDIA RTX или GeForce RTX через Hugging Face Transformers.

Создано для разработчиков и исследователей

Gemma 2 не только мощнее, но и разработана так, чтобы легко интегрироваться в ваши рабочие процессы:

• Открытость и доступность: Как и оригинальные модели Gemma, Gemma 2 поставляется с лицензией, удобной для коммерческого использования, что позволяет разработчикам и исследователям делиться своими разработками и монетизировать их.
• Широкая совместимость с фреймворками: Вы можете легко интегрировать Gemma 2 с вашими любимыми инструментами и рабочими процессами благодаря её совместимости с основными фреймворками ИИ, такими как Hugging Face Transformers, JAX, PyTorch и TensorFlow через нативный Keras 3.0, vLLM, Gemma.cpp, Llama.cpp и Ollama. Она также оптимизирована с NVIDIA TensorRT-LLM для инфраструктуры с ускорением NVIDIA или как микросервис NVIDIA NIM, с оптимизацией для NVIDIA NeMo в перспективе. Вы можете начать тонкую настройку уже сегодня с Keras и Hugging Face, и мы работаем над более эффективными вариантами тонкой настройки.
• Простое развертывание: Начиная со следующего месяца клиенты Google Cloud смогут легко развертывать и управлять Gemma 2 на Vertex AI.

Погрузитесь в новый Gemma Cookbook, полный практических примеров и рецептов, которые помогут вам создавать собственные приложения и настраивать Gemma 2 для конкретных задач. Узнайте, как использовать Gemma с вашими любимыми инструментами, включая задачи, такие как генерация с дополненным поиском.

Ответственная разработка ИИ

Мы стремимся помогать разработчикам и исследователям создавать и развертывать ИИ ответственно. Наш инструментарий Responsible Generative AI Toolkit — часть этих усилий. Недавно открытый LLM Comparator помогает с детальной оценкой языковых моделей. Начиная с сегодняшнего дня вы можете использовать сопутствующую библиотеку Python для проведения сравнительных оценок с вашей моделью и данными, а также визуализировать результаты в приложении. Мы также работаем над открытием нашей технологии водяных знаков для текста, SynthID, для моделей Gemma.

При обучении Gemma 2 мы следовали строгим внутренним процессам безопасности, фильтруя данные для предварительного обучения и проводя тщательное тестирование и оценку по широкому спектру метрик, чтобы выявить и устранить возможные предвзятости и риски. Мы публикуем наши результаты по публичным тестам, связанным с безопасностью и репрезентативными рисками.

Проекты, созданные с Gemma

Наш первый запуск Gemma вызвал более 10 миллионов загрузок и множество удивительных проектов. Например, Navarasa использовала Gemma для разработки модели, прославляющей языковое разнообразие Индии.