Google dévoile Gemini Embedding2 : un modèle multimodal natif qui unifie les espaces sémantiques

Google a récemment dévoilé son nouveau modèle d'encodage multimodal natif, Gemini Embedding2. Celui-ci permet de cartographier du texte, des images, des vidéos, des fichiers audio et des documents PDF dans un espace vectoriel sémantique commun, conçu pour rationaliser les flux de données complexes liés à l'IA et améliorer la recherche et la compréhension multimodales. Il s'agit d'une avancée majeure pour Google dans le domaine de la technologie d'encodage, marquant le passage d'un modèle textuel monomodal à une modélisation sémantique multimodale unifiée.

Auparavant, en juillet 2025, Google avait présenté le modèle d'intégration de texte gemini-embedding-001. Celui-ci prenait en charge plus de 100 langues et avait obtenu d'excellents résultats lors du benchmark multilingue MTEB. Le nouveau Gemini Embedding2 s'appuie sur l'architecture Gemini tout en élargissant considérablement son champ d'application. Il traite désormais cinq modalités différentes — texte, images, vidéo, audio et PDF — et les projette dans un espace vectoriel unique. Cela permet d'effectuer des comparaisons sémantiques directes entre différents types de médias sans avoir besoin de plusieurs modèles spécialisés ni d'étapes de traitement supplémentaires. Cette capacité est particulièrement utile pour des applications telles que la recherche sémantique, la génération augmentée par la recherche (RAG), l'analyse des sentiments et le regroupement de données.

En ce qui concerne les capacités d'entrée, le nouveau modèle prend en charge jusqu'à 8 192 tokens de texte, soit quatre fois la limite précédente de 2 048 tokens. Il peut traiter jusqu'à six images PNG ou JPEG par requête, des vidéos d'une durée maximale de 120 secondes et des documents PDF comptant jusqu'à six pages. Une fonctionnalité notable est la prise en charge native du traitement audio par Gemini Embedding2, qui élimine le besoin de conversion de la parole en texte et évite toute perte d'information potentielle due à la transcription. Google a également introduit la technologie « d'entrée entrelacée », permettant aux développeurs de combiner plusieurs modalités en une seule requête — comme mélanger des images avec du texte descriptif — afin de mieux saisir les relations sémantiques entre elles.

Sur le plan architectural, le modèle continue d'utiliser le Matryoshka Representation Learning (MRL). Cette technique utilise une structure hiérarchique pour ajuster dynamiquement les dimensions des vecteurs. La dimension d'intégration par défaut est de 3072, avec des configurations optionnelles de 1536 et 768 disponibles, offrant aux développeurs la flexibilité nécessaire pour trouver un équilibre entre la précision de la recherche et l'efficacité du stockage.

Les résultats des tests de performance de Google indiquent que Gemini Embedding2 offre des performances de pointe pour les tâches liées au texte, à l'image, à la vidéo et à la parole. Par exemple, en recherche texte-vidéo, il obtient un score de 68,8, surpassant Amazon Nova2Multimodal Embeddings (60,3) et Voyage Multimodal3.5 (55,2). En comparaison texte-image, il atteint un score de 93,4, nettement supérieur au score du modèle d'Amazon (84,0).

Gemini Embedding2 est actuellement accessible aux développeurs via l'API Gemini et Vertex AI. Il s'intègre aux frameworks et bases de données vectorielles populaires tels que LangChain, LlamaIndex, Haystack, Weaviate, Qdrant, ChromaDB et Vector Search. Pour aider les développeurs à se lancer, Google fournit des notebooks Colab interactifs et des démonstrations de recherche sémantique multimodale allégées.

La concurrence dans le domaine de l'intégration multimodale s'intensifie. Il convient notamment de noter qu'à la fin du mois de février de cette année, le moteur de recherche IA Perplexity a publié ses modèles d'intégration open source, pplx-embed-v1 et pplx-embed-context-v1.