Le développeur JeecgBoot a testé un modèle de distillation modifié par la communauté sur un Mac Studio M4Max, obtenant des vitesses de génération 5 à 6 fois supérieures à celles de la version officielle. Ce modèle, qui utilise une architecture A4B MoE avec un total de 26 milliards de paramètres, n’en activait qu’environ 4 milliards par inférence, atteignant jusqu’à 78 tokens par seconde et prenant en charge un contexte de 256 000 tokens. Bien que la génération soit rapide, les workflows Agentic complexes pour des tâches telles que la génération de code peuvent prendre environ 1,5 minute en raison de chaînes de décision en plusieurs étapes. Le test a permis de générer avec succès un squelette de projet JeecgBoot standardisé. Une stratégie à double modèle est recommandée : utiliser le modèle local modifié pour la plupart des tâches (comme les opérations CRUD) afin de préserver la confidentialité et de réduire les coûts, et recourir aux API cloud pour les besoins de conception complexes.