Die Forscher schlagen "spekulative Kaskaden" vor, die spekulative Dekodierung und Standardkaskaden kombinieren, um die LLM-Effizienz zu verbessern. Die Methode verwendet ein kleineres Modell, um Ausgaben zu entwerfen, und eine Aufschiebungsregel, um zu entscheiden, ob Aufgaben angenommen oder an ein größeres Modell weitergeleitet werden sollen. Tests haben gezeigt, dass die Methode ein besseres Verhältnis zwischen Geschwindigkeit und Qualität erzielt als eigenständige Techniken, indem sie Kosten und Leistung bei Aufgaben wie Zusammenfassung, Schlussfolgerungen und Codierung optimiert.

Kommentare (0)