600B MoE Sparse active 27B, améliorant l'efficacité coût-performance du modèle phare open-source

Étape 5 Preview, le dernier modèle de fondation phare, est désormais officiellement disponible. Son objectif est clair : un modèle principal conçu pour les tâches Agentic du monde réel. Il répond au « problème de Pareto » de longue date en IA, où les capacités, l’efficacité et le coût entrent souvent en conflit. Historiquement, les progrès dans un domaine nécessitaient de sacrifier un autre. Cependant, faire avancer la frontière de Pareto ne consiste pas à éliminer les compromis, mais à élargir l’ensemble de la frontière grâce à une conception innovante.

Cette itération utilise une architecture sparse Mixture of Experts (MoE). Step 5 Preview contient 600 milliards de paramètres, avec seulement 27 milliards activés par inférence. Il prend nativement en charge une fenêtre de contexte allant jusqu’à un million de tokens et traite à la fois les entrées textuelles et visuelles. Avec 44 points à l’Artificial Analysis Intelligence Index, il se classe parmi les trois meilleurs modèles open-source mondiaux. Notamment, son coût par tâche unique n’est que d’un huitième celui de Claude Opus5, offrant soit une intelligence accrue dans le même budget, soit des capacités supérieures à un prix inférieur. Sur ALE-CLI, un sous-ensemble de Agents' Last Exam, ainsi que sur le benchmark de recherche en investissement financier FrontierFinance et l’évaluation de recherche approfondie inter-domaines DRACO, il ne devance que GPT-6Astra ou Claude Opus5, laissant les autres modèles open-source derrière. GDPval-AA v2 intègre les dernières données jusqu’au 19 septembre, tandis que DeepSWE v1.1 a été évalué à l’aide du SWE-agent harness avec temperature=1.0 et top_p=0.95.

Dans le développement logiciel, Step a créé StepCodeBench, englobant 553 dépôts de code indépendants, neuf types de tâches, 20 domaines d’application et 33 langages de programmation. Step 5 Preview démontre de solides taux de réussite globaux et une stabilité inter-scénarios, gérant efficacement des tâches réelles telles que la correction de bugs, le développement de fonctionnalités, le refactoring et la configuration d’environnements. Dans une démonstration, il a traité une documentation extensive sur l’ESP32 pour transformer une carte de développement ESP32-S3 en un clavier de Vibe Coding avec boutons Bluetooth et entrée vocale. Il a ouvert automatiquement les ports série COM, ajusté les caméras, capturé des images des appareils, simulé des mouvements de souris et débogué le code de manière itérative en fonction des erreurs en temps réel, achevant la tâche en plus de trois heures.

Les tâches de longue durée mettent en valeur sa véritable valeur. Dans la première expérience, disposant de 24 heures et d’un GPU H100, il a optimisé un noyau GPU MLA à partir de zéro (dimension de tête 512, taille de lot 1, 64 têtes d’attention, 8192 tokens). Step 5 Preview a modifié le code de manière autonome, exécuté le noyau et mesuré le débit. Lorsqu’il a rencontré une solution fonctionnelle mais réduisant la vitesse, il l’a rejetée et a continué à partir de la meilleure version. Après environ 22 heures, il a atteint des performances maximales de 508 TFLOPS, dépassant les 493 TFLOPS de Claude Opus5. La deuxième expérience s’est également étendue sur 24 heures, lui permettant d’améliorer les performances d’un modèle de base Qwen3-30B-A3B sur AIME24 grâce à un post-entraînement automatisé. Le modèle a déterminé comment utiliser l’API annotée et ajuster les données, augmentant finalement la précision de 53,3 % à 60 %, égalisant Opus5 tout en utilisant moins de tokens annotés.

En ce qui concerne les applications frontales et visuelles, il va au-delà de l’écriture de pages web ; il peut invoquer Blender pour construire et modifier itérativement des actifs 3D, puis les intégrer dans Three.js pour des applications interactives et des jeux. Il a même extrait des informations d’un guide de voyage ferroviaire « Guangjiu » de 1922, créant un système de requête de voyage, de calcul des coûts et de lecture des itinéraires. Cela a transformé des documents historiques en un produit interactif, avec un petit train circulant le long de la ligne historique.

La finance sert de test complet des capacités. Step a développé trois évaluations internes axées sur la recherche d’entreprises : FinStepBench-LiveSearch teste la capacité à récupérer et vérifier les informations financières à mesure que les exigences évoluent ; CorporateValuation évalue la conversion des données et des hypothèses en valorisations reproductibles ; et DeepResearch évalue l’ensemble du processus, de la collecte de preuves à un rapport de recherche complet. Des benchmarks externes comme FrontierFinance couvrent six scénarios d’investissement avec 220 questions d’experts et 11 543 critères de notation. Step 5 Preview a obtenu de solides résultats sur les quatre benchmarks.

De Step3.5Flash et Step3.7Flash à Step5Preview, Step s’est constamment concentré sur un principe : la prochaine phase de mise à l’échelle ne consiste pas simplement à ajouter plus de Compute, mais à utiliser le Compute plus efficacement. Suite à la sortie complète d’aujourd’hui, les poids complets du modèle seront disponibles le 15 octobre. Ce modèle phare open-source, qui redéfinit l’équilibre entre « capacités-coût-efficacité », est désormais prêt à être adopté par les développeurs comme outil principal pour les tâches Agentic.