Ant Group dévoile F2LLM-v2 : un modèle d'intégration multilingue à grande échelle

Surmonter la limite dite « centrée sur l'anglais » dans la représentation sémantique est devenu un enjeu majeur dans l'évolution des grands modèles linguistiques.

Le 26 mars, l'équipe CodeFuse d'Ant Group et de l'université Jiao Tong de Shanghai a officiellement lancé la série de modèles d'embedding F2LLM-v2. Cette série a non seulement atteint des performances de pointe dans des benchmarks de référence, mais elle offre également une solution de représentation sémantique performante et efficace aux développeurs du monde entier grâce à une approche entièrement open source.

Des performances exceptionnelles : 11 résultats SOTA sur MTEB

Dans le benchmark MTEB de référence pour l'évaluation des modèles d'embedding, F2LLM-v2 a démontré des atouts globaux :

11 premières places : il s'est classé en tête de 11 classements spécifiques à des langues et à des domaines, notamment l'allemand, le français, le japonais et la recherche de code.

Un challenger redoutable : même ses variantes allégées ont systématiquement surpassé des modèles industriels bien connus de taille comparable.

Couverture étendue : l'évaluation a porté sur 430 sous-tâches diverses, telles que les questions-réponses médicales et la recherche de code, couvrant ainsi l'ensemble des scénarios.

Une compréhension globale : maîtrise de 282 langues naturelles et de plus de 40 langages de programmation

La puissance de F2LLM-v2 découle de sa base d'entraînement hautement inclusive :

Amélioration multilingue : il offre une prise en charge renforcée des langues à ressources moyennes et faibles (telles que les familles de langues nordiques et d'Asie du Sud-Est), permettant une véritable couverture linguistique mondiale.

Expertise en programmation : grâce à sa compréhension approfondie de plus de 40 langages de programmation tels que Python, Java et Go, il constitue le choix idéal pour les développeurs qui créent des systèmes RAG (Retrieval-Augmented Generation) et des assistants de code.

Données de haute qualité : S'appuyant sur 60 millions d'échantillons publics méticuleusement nettoyés, il garantit à la fois la pureté et l'étendue de la base de connaissances du modèle.

Une efficacité extrême : une famille complète de modèles allant de 80 millions à 14 milliards de paramètres

Pour répondre à des besoins allant des appareils mobiles au cloud computing, l'équipe CodeFuse a développé une matrice de modèles complète :

Optimisation pour les mobiles : des modèles compacts de 80 millions à 330 millions de paramètres utilisent des techniques de « model pruning » et de « knowledge distillation », permettant un fonctionnement fluide sur les plateformes mobiles.

Innovation « imbriquée » : elle prend en charge l'ajustement dynamique des dimensions, permettant aux utilisateurs de basculer de manière flexible entre 8 dimensions et toutes les dimensions, optimisant ainsi le compromis entre vitesse d'inférence et coût de stockage.

Entièrement open source : la transparence établit une nouvelle norme communautaire

Contrairement à de nombreux modèles de type « boîte noire », F2LLM-v2 s'engage dans une philosophie entièrement open source :

Publication complète : tous les poids du modèle pour chaque variante de taille sont disponibles au téléchargement.

Transparence détaillée : un rapport technique complet est publié, dévoilant l'intégralité de la méthodologie d'entraînement.

Reproductibilité totale : tous les codes et points de contrôle de l'entraînement sont publiés, permettant aux chercheurs du monde entier de s'appuyer sur ces travaux pour poursuivre le développement.

Conclusion : repousser les limites pour explorer le potentiel infini de l'IA

Nouvelle étape importante de la série CodeFuse Open Source, la publication de F2LLM-v2