Le modèle Open Source Seed-OSS-36B de ByteDance prend en charge un contexte de jetons de 512K

TikTok fait à nouveau parler de lui depuis que la Maison Blanche a rejoint la populaire plateforme de médias sociaux, mais sa société mère ByteDance, une importante entreprise technologique chinoise, a également fait une annonce surprise.

L'unité de recherche en IA de l'entreprise, l'équipe Seed, a lancé aujourd'hui Seed-OSS-36B sur le dépôt de codes d'IA Hugging Face.

Seed-OSS-36B est une nouvelle série de grands modèles de langage (LLM) open-source conçus pour un raisonnement sophistiqué et une utilisation conviviale pour les développeurs, avec un contexte de jeton plus long que de nombreux modèles concurrents développés aux États-Unis, y compris les principaux modèles d'OpenAI et d'Anthropic.

La collection comprend trois variantes principales :

• Seed-OSS-36B-Base avec données synthétiques
• Seed-OSS-36B-Base sans données synthétiques
• Seed-OSS-36B-Instruct

En publiant des versions synthétiques et non synthétiques du modèle Seed-OSS-36B-Base, l'équipe Seed a cherché à équilibrer les performances dans le monde réel et l'adaptabilité de la recherche.

La version à données synthétiques, entraînée avec des données d'instruction supplémentaires, obtient de meilleurs résultats sur des critères de référence établis et est conçue comme un modèle polyvalent plus performant.

En revanche, le modèle non synthétique supprime ces améliorations et fournit une base plus claire qui réduit le biais potentiel des données d'instruction synthétiques.

En fournissant les deux variantes, l'équipe offre aux utilisateurs pratiques des résultats améliorés tout en donnant aux chercheurs une base de référence impartiale pour étudier les techniques post-formation.

Le modèle Seed-OSS-36B-Instruct est quant à lui post-entraîné à l'aide de données d'instruction, et se concentre sur l'exécution des tâches et le respect des instructions au lieu de servir uniquement de modèle de base.

Les trois modèles sont sous licence Apache-2.0, ce qui permet aux chercheurs et aux développeurs d'entreprise de les utiliser, de les modifier et de les partager librement.

Cela signifie qu'ils peuvent être intégrés dans des applications commerciales, que ce soit pour des opérations internes ou des services destinés aux clients, sans que ByteDance ne facture de frais de licence ou d'API.

Cette initiative s'inscrit dans la tendance du milieu des années 2025, où les entreprises chinoises lancent des modèles avancés à code source ouvert, tandis que l'OpenAI s'efforce de suivre le rythme avec son propre duo gpt-oss à code source ouvert, récemment publié.

L'équipe Seed a conçu Seed-OSS pour une utilisation mondiale, en soulignant son adaptabilité en matière de raisonnement, ses fonctions axées sur les tâches et ses environnements multilingues.

Créée en 2023, l'équipe Seed s'est concentrée sur la création de modèles fondamentaux adaptés à la fois à la recherche et aux applications pratiques.

Conception et caractéristiques principales

La structure de Seed-OSS-36B intègre des éléments de conception reconnus tels que la modélisation causale du langage, l'attention groupée des requêtes, l'activation SwiGLU, la RMSNorm et l'encodage positionnel RoPE.

Chaque modèle contient 36 milliards de paramètres répartis sur 64 couches et prend en charge un vocabulaire de 155 000 mots.

L'une de ses caractéristiques principales est sa capacité inhérente de traitement de longs contextes, qui permet de traiter jusqu'à 512 000 mots-clés pour traiter de longs documents et des séquences logiques sans dégradation.

Cette capacité est deux fois supérieure à celle de la nouvelle famille GPT-5 d'OpenAI et correspond approximativement à la longueur d'un texte de 1 600 pages, soit à peu près la taille de la Bible.

Une autre caractéristique remarquable est le budget de réflexion, qui permet aux développeurs de définir la quantité de raisonnement que le modèle applique avant de générer une réponse.

Un mécanisme similaire apparaît dans d'autres versions open-source récentes, notamment le Nemotron-Nano-9B-v2 de Nvidia, également accessible via Hugging Face.

Concrètement, cela permet aux équipes de calibrer les performances en fonction de la complexité de la tâche et des besoins d'efficacité du déploiement.

Les valeurs budgétaires sont indiquées en multiples de 512 jetons, 0 permettant un mode de réponse direct.

Performances compétitives sur des benchmarks tiers

Les résultats des tests publiés placent Seed-OSS-36B parmi les grands modèles open-source les plus performants. La version Instruct, en particulier, obtient des résultats de pointe dans plusieurs domaines.

• Mathématiques et raisonnement : Seed-OSS-36B-Instruct obtient 91,7 % sur AIME24 et 65 sur BeyondAIME, ce qui représente l'état de l'art en matière de logiciels libres (SOTA).
• Codage : Sur LiveCodeBench v6, le modèle Instruct atteint 67,4, une autre marque SOTA.
• Capacité de contexte long : Sur RULER à 128K de longueur de contexte, il atteint 94,6, le plus haut résultat open-source rapporté.
• Performance du modèle de base : La variante Base à données synthétiques obtient 65,1 sur MMLU-Pro et 81,7 sur MATH, deux résultats de premier plan dans leur catégorie.

Le modèle de base non synthétique, bien que légèrement à la traîne dans plusieurs mesures, reste compétitif en soi.

Il surpasse la version synthétique sur GPQA-D, fournissant aux chercheurs une base de test plus propre et neutre en termes d'instructions.

Pour les entreprises qui évaluent des alternatives ouvertes, ces résultats indiquent que Seed-OSS est très prometteur pour les applications mathématiques intensives, de codage et de contexte long, tout en préservant la flexibilité pour les scénarios de recherche.

Accès et déploiement

Au-delà des performances, l'équipe Seed met l'accent sur l'accessibilité pour les développeurs. Les modèles peuvent être déployés via des transformateurs Hugging Face, avec une quantification en formats 4 bits et 8 bits pour minimiser l'utilisation de la mémoire.

Ils s'intègrent également à vLLM pour un service évolutif, avec des exemples d'installation et des directives pour les serveurs API.

Pour simplifier encore l'adoption, l'équipe fournit des scripts pour l'inférence, la personnalisation des messages et l'intégration des outils.

Pour les responsables techniques qui gèrent de petites équipes ou qui disposent de budgets limités, ces ressources permettent d'expérimenter des modèles à 36 milliards de paramètres.

Licence et considérations pour les décideurs d'entreprise

Disponibles sous Apache-2.0, ces modèles peuvent être adoptés sans licence restrictive, ce qui représente un avantage considérable pour les équipes qui évaluent les facteurs juridiques et opérationnels.

Pour les dirigeants qui évaluent l'écosystème des logiciels libres, cette version met en évidence trois points essentiels :

• Des résultats de référence de premier ordre en mathématiques, en codage et en raisonnement en contexte long,
• un équilibre entre des modèles synthétiques entraînés très performants et des bases de recherche impartiales,
• Des fonctions d'accessibilité qui réduisent la complexité opérationnelle pour des unités d'ingénierie rationalisées.

En combinant des performances élevées et un déploiement adaptable sous une licence ouverte, l'équipe Seed de ByteDance a élargi les options disponibles pour les entreprises, les chercheurs et les développeurs.