Ant Group представляет F2LLM-v2: многоязычную модель полномасштабного встраивания

Преодоление ограничений «англоцентричности» в семантическом представлении стало одной из ключевых задач в развитии крупных языковых моделей.

26 марта команда CodeFuse из Ant Group и Шанхайского университета Цзяо Тун официально выпустила серию моделей встраивания F2LLM-v2. Эта серия не только продемонстрировала лидирующие показатели в авторитетных тестах, но и предоставляет высокопроизводительное и эффективное решение для семантического представления разработчикам по всему миру благодаря полностью открытому исходному коду.

Исключительная производительность: достижение 11 результатов SOTA в MTEB

В авторитетном тесте MTEB для оценки моделей встраивания F2LLM-v2 продемонстрировала всесторонние преимущества:

11 первых мест: она заняла первое место в 11 рейтингах по языкам и конкретным областям, включая немецкий, французский, японский языки и поиск кода.

Грозный соперник: даже его облегченные варианты стабильно превосходили по производительности известные отраслевые модели сопоставимого размера.

Широкий охват: оценка охватила 430 разнообразных подзадач, таких как медицинские вопросы и ответы и поиск кода, обеспечив полный охват сценариев.

Всестороннее понимание: владение 282 естественными языками и более чем 40 языками программирования

Сила F2LLM-v2 проистекает из его высокоинклюзивной основы обучения:

Многоязычное усовершенствование: модель отличается усиленной поддержкой языков со средним и низким уровнем ресурсов (таких как языковые семьи Северной Европы и Юго-Восточной Азии), что обеспечивает подлинный глобальный языковой охват.

Экспертиза в области программирования: благодаря глубокому пониманию более 40 языков программирования, таких как Python, Java и Go, модель является идеальным выбором для разработчиков, создающих системы RAG (Retrieval-Augmented Generation) и помощников по коду.

Высококачественные данные: построенная на основе 60 миллионов тщательно очищенных общедоступных образцов, она обеспечивает как чистоту, так и широту базы знаний модели.

Высочайшая эффективность: полное семейство моделей с масштабированием от 80 млн до 14 млрд параметров

Чтобы удовлетворить потребности, варьирующиеся от мобильных устройств до облачных вычислений, команда CodeFuse разработала комплексную матрицу моделей:

Оптимизация для мобильных устройств: компактные модели от 80 млн до 330 млн параметров используют методы «обрезки модели» и «дистилляции знаний», что обеспечивает плавную работу на мобильных платформах.

«Вложенные» инновации: поддержка динамической настройки размерности, позволяющая пользователям гибко переключаться между 8-мерной и полной размерностью, оптимизируя соотношение между скоростью вывода и затратами на хранение.

Полностью открытый исходный код: прозрачность, устанавливающая новый стандарт сообщества

В отличие от многих моделей типа «черный ящик», F2LLM-v2 привержена философии полностью открытого исходного кода:

Полный релиз: все веса модели для каждого варианта размера доступны для скачивания.

Подробная прозрачность: опубликован исчерпывающий технический отчет, раскрывающий всю методологию обучения.

Полная воспроизводимость: опубликованы весь код и контрольные точки обучения, что дает возможность исследователям по всему миру использовать эту работу в качестве основы для дальнейших разработок.

Заключение: преодоление границ для изучения безграничного потенциала ИИ

Еще одной важной вехой в серии CodeFuse Open Source Series стал выпуск F2LLM-v2