Les chercheurs proposent des "cascades spéculatives", fusionnant le décodage spéculatif et les cascades standard pour améliorer l'efficacité du LLM. La méthode utilise un modèle plus petit pour rédiger les sorties et une règle de report pour décider d'accepter ou de transmettre les tâches à un modèle plus grand. Les tests montrent qu'elle permet d'obtenir de meilleurs compromis vitesse-qualité que les techniques autonomes, en optimisant les coûts et les performances pour des tâches telles que le résumé, le raisonnement et le codage.

commentaires (0)