MiniMax, licorne chinoise spécialisée dans l'IA, s'apprête à lancer son nouveau modèle à grande échelle, le M3, doté d'une architecture novatrice d'attention clairsemée. Cette conception permet de surmonter les goulots d'étranglement informatiques dans les scénarios à contexte ultra-long, rendant ainsi possible le traitement efficace de contextes comportant des millions de tokens. Le M3 affiche des gains de performance considérables par rapport à son prédécesseur, avec une vitesse de préremplissage multipliée par 97 et une vitesse de décodage multipliée par 156, ce qui réduit considérablement les coûts d'inférence. Cette avancée marque un tournant dans la concurrence entre les modèles à grande échelle, qui passe désormais de la taille des paramètres à l'efficacité et à la praticité.