Google представляет Gemini Embedding2: собственная мультимодальная модель, объединяющая семантические пространства

Недавно компания Google представила свою новую нативную мультимодальную модель вложений — Gemini Embedding2. Она позволяет отображать текст, изображения, видео, аудио и PDF-документы в единое семантическое векторное пространство, что призвано оптимизировать сложные рабочие процессы с данными искусственного интеллекта и улучшить мультимодальный поиск и понимание. Это стало важным прорывом для Google в области технологий вложений, ознаменовавшим переход от одномодального текста к унифицированному мультимодальному семантическому моделированию.

Ранее, в июле 2025 года, Google представила модель текстового встраивания gemini-embedding-001. Она поддерживала более 100 языков и достигла лучших результатов в многоязычном тесте MTEB. Новая Gemini Embedding2 основана на архитектуре Gemini, но значительно расширяет ее возможности. Теперь она обрабатывает пять различных модальностей — текст, изображения, видео, аудио и PDF-файлы — и проецирует их в единое векторное пространство. Это позволяет проводить прямые семантические сравнения между различными типами медиа без необходимости использования нескольких специализированных моделей или дополнительных этапов обработки. Эта возможность особенно ценна для таких приложений, как семантический поиск, генерация с расширением поиска (RAG), анализ тональности и кластеризация данных.

Что касается возможностей ввода, новая модель поддерживает до 8192 текстовых токенов, что в четыре раза превышает прежний лимит в 2048 токенов. Она может обрабатывать до шести изображений в формате PNG или JPEG на один запрос, видео длительностью до 120 секунд и PDF-документы объемом до шести страниц. Примечательной особенностью является встроенная поддержка Gemini Embedding2 для обработки аудио, что устраняет необходимость преобразования речи в текст и позволяет избежать потенциальной потери информации при транскрипции. Google также представила технологию «чередующегося ввода», позволяющую разработчикам комбинировать несколько модальностей в одном запросе — например, смешивать изображения с описательным текстом — для лучшего отражения семантических отношений между ними.

С архитектурной точки зрения модель по-прежнему использует Matryoshka Representation Learning (MRL). Эта техника использует иерархическую структуру для динамической настройки размерности векторов. Размерность встраивания по умолчанию составляет 3072, при этом доступны дополнительные конфигурации 1536 и 768, что дает разработчикам гибкость для балансировки точности поиска и эффективности хранения.

Результаты тестирования Google показывают, что Gemini Embedding2 демонстрирует лидирующую производительность при выполнении задач с текстом, изображениями, видео и речью. Например, при поиске по тексту и видео она набирает 68,8 баллов, превосходя Amazon Nova2Multimodal Embeddings (60,3) и Voyage Multimodal3.5 (55,2). При сравнении текста и изображений он набирает 93,4 балла, что значительно превосходит результат модели Amazon (84,0).

В настоящее время Gemini Embedding2 доступен разработчикам через Gemini API и Vertex AI. Он интегрируется с популярными фреймворками и векторными базами данных, такими как LangChain, LlamaIndex, Haystack, Weaviate, Qdrant, ChromaDB и Vector Search. Чтобы помочь разработчикам начать работу, Google предоставляет интерактивные ноутбуки Colab и демонстрации облегченного мультимодального семантического поиска.

Конкуренция в области мультимодального встраивания набирает обороты. В частности, в конце февраля этого года поисковая система на базе ИИ Perplexity выпустила свои модели встраивания с открытым исходным кодом: pplx-embed-v1 и pplx-embed-context-v1.