Ant Group presenta F2LLM-v2: un modelo de incrustación multilingüe a gran escala

Superar la limitación del «centrismo en el inglés» en la representación semántica se ha convertido en un reto clave en la evolución de los grandes modelos de lenguaje.

El 26 de marzo, el equipo CodeFuse de Ant Group y la Universidad Jiao Tong de Shanghái lanzó oficialmente la serie de modelos de incrustación F2LLM-v2. Esta serie no solo ha logrado un rendimiento líder en pruebas de referencia de prestigio, sino que también ofrece una solución de representación semántica eficiente y de alto rendimiento para desarrolladores de todo el mundo mediante un enfoque totalmente de código abierto.

Rendimiento excepcional: 11 resultados SOTA en MTEB

En el prestigioso banco de pruebas MTEB para evaluar modelos de incrustación, F2LLM-v2 demostró sus amplias fortalezas:

11 primeros puestos: se aseguró el primer puesto en 11 clasificaciones específicas de idiomas y dominios, incluyendo alemán, francés, japonés y recuperación de código.

Un rival formidable: incluso sus variantes ligeras superaron sistemáticamente a modelos industriales conocidos de tamaño comparable.

Amplia cobertura: la evaluación abarcó 430 subtareas diversas, como preguntas y respuestas médicas y recuperación de código, logrando una cobertura completa de los escenarios.

Comprensión integral: dominio de 282 lenguas naturales y más de 40 lenguajes de programación

El poder de F2LLM-v2 proviene de su base de entrenamiento altamente inclusiva:

Mejora multilingüe: cuenta con un soporte reforzado para idiomas con recursos medios y bajos (como las familias lingüísticas nórdicas y del sudeste asiático), lo que permite una cobertura lingüística verdaderamente global.

Experiencia en programación: con un profundo conocimiento de más de 40 lenguajes de programación como Python, Java y Go, es la opción ideal para los desarrolladores que crean sistemas RAG (Retrieval-Augmented Generation) y asistentes de código.

Datos de alta calidad: Basado en 60 millones de muestras públicas meticulosamente depuradas, garantiza tanto la pureza como la amplitud de la base de conocimientos del modelo.

Eficiencia extrema: una familia completa de modelos que abarca desde 80 millones hasta 14 000 millones de parámetros

Para dar respuesta a necesidades que van desde los dispositivos móviles hasta la computación en la nube, el equipo de CodeFuse ha desarrollado una matriz de modelos completa:

Optimizado para móviles: los modelos compactos de entre 80 y 330 millones de parámetros utilizan técnicas de «poda de modelos» y «destilación de conocimiento», lo que permite un funcionamiento fluido en plataformas móviles.

Innovación «anidada»: admite el ajuste dinámico de dimensiones, lo que permite a los usuarios cambiar de forma flexible entre 8 dimensiones y dimensiones completas, optimizando el equilibrio entre la velocidad de inferencia y el coste de almacenamiento.

Totalmente de código abierto: la transparencia establece un nuevo estándar comunitario

A diferencia de muchos modelos de «caja negra», F2LLM-v2 se rige por una filosofía de código totalmente abierto:

Lanzamiento completo: todos los pesos del modelo para cada variante de tamaño están disponibles para su descarga.

Transparencia detallada: se publica un informe técnico exhaustivo en el que se revela toda la metodología de entrenamiento.

Reproducibilidad total: se publican todos los códigos y puntos de control del entrenamiento, lo que permite a los investigadores de todo el mundo basarse en este trabajo para seguir desarrollándolo.

Conclusión: Rompiendo barreras para explorar el potencial infinito de la IA

Como otro hito significativo en la serie de código abierto de CodeFuse, el lanzamiento de F2LLM-v2