Heim
OpenRounder bringt Technologie auf den Markt, die die Kosten für mehrstufige KI-Konversationen drastisch senkt
Im Zuge der Weiterentwicklung der KI-Konversationstechnologie hat OpenRouter zwei neue Funktionen eingeführt – „Prompt Caching“ und „Sticky Routing“ –, die darauf ausgelegt sind, die Token-Kosten bei mehrrundigen Agenten-Konversationen zu senken. Diese Innovation ermöglicht es Entwicklern, die Kosten bei längeren Interaktionen mit Agenten zu reduzieren, was eine breitere Nutzung von Agentenanwendungen fördert.
In Mehrrunden-Gesprächen senden Agenten häufig dieselben Systemaufforderungen, Tool-Definitionen und Strategieanweisungen erneut. Selbst wenn der Nutzer in sechs Runden nur eine Eingabe ändert, fallen für jede wiederholte Aufforderung Kosten an. Mit „Prompt Caching“ kann OpenRouter zwischengespeicherte Daten abrufen und so die Kosten für das erneute Senden identischer Aufforderungen umgehen. Je nach Anbieter kosten zwischengespeicherte Lesevorgänge das 0,1- bis 0,5-Fache des Standardpreises für Eingaben, was die Kosten erheblich senkt. Bei Claude Sonnet 4.6 beispielsweise kosten zwischengespeicherte Lesevorgänge nur 0,30 US-Dollar pro Million Token, verglichen mit 3,00 US-Dollar für normale Eingaben.

Um die Effektivität des Caches über mehrere Runden hinweg aufrechtzuerhalten, leitet das „Sticky Routing“ von OpenRouter nachfolgende Anfragen an denselben Anbieter weiter, der den „Hot Cache“ verwaltet, sodass Entwickler während der gesamten Konversation durchgehend von kostengünstigen Cache-Lesevorgängen profitieren können.
Um diese Innovation jedoch voll auszuschöpfen, müssen Entwickler während der gesamten Dauer dieselbe Sitzung beibehalten. Für ein optimales Caching empfiehlt OpenRouter die Festlegung einer `session_id`, die das „Sticky Routing“ unmittelbar nach der ersten erfolgreichen Anfrage aktiviert – nicht erst nach einem Cache-Treffer. Entwickler können die Cache-Nutzung zudem durch Überprüfung der Antwortdaten kontrollieren.
Mit dem Fortschritt der KI-Technologie bietet die neueste Funktion von OpenRouter Entwicklern nicht nur ein leistungsstarkes Werkzeug zur Kostenkontrolle, sondern eröffnet auch neue Möglichkeiten für Agentenanwendungen.
Verwandter Artikel
Stripe übernimmt OpenRouter – Routing auf Basis von KI-Modellen gewinnt an Dynamik
Stripe hat die Übernahme von OpenRouter vereinbart, einer Plattform für das Routing von KI-Modellen, die Entwicklern über eine einzige Schnittstelle Zugriff auf Hunderte von Modellen bietet. Durch die
Der ehemalige OpenAI-Forscher Barrett Zoph kehrt zu Google zurück, um die Entwicklung von Gemini voranzutreiben
Barret Zoph, der zuvor aufgrund von Meinungsverschiedenheiten mit Miriam Mularati, der Geschäftsführerin von Thinking Machines Lab, überraschend das Unternehmen verlassen und zu OpenAI gewechselt war,
Wie Recursive Intelligence innerhalb von vier Monaten 335 Millionen Dollar bei einer Bewertung von 4 Milliarden Dollar einwarb
Die Mitbegründerinnen des Start-ups Ricursive Intelligence schienen dafür prädestiniert zu sein, gemeinsam ein Unternehmen zu gründen.Anna Goldie, CEO, und Azalia Mirhoseini, CTO, sind in der KI-Commu
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Im Zuge der Weiterentwicklung der KI-Konversationstechnologie hat OpenRouter zwei neue Funktionen eingeführt – „Prompt Caching“ und „Sticky Routing“ –, die darauf ausgelegt sind, die Token-Kosten bei mehrrundigen Agenten-Konversationen zu senken. Diese Innovation ermöglicht es Entwicklern, die Kosten bei längeren Interaktionen mit Agenten zu reduzieren, was eine breitere Nutzung von Agentenanwendungen fördert.
In Mehrrunden-Gesprächen senden Agenten häufig dieselben Systemaufforderungen, Tool-Definitionen und Strategieanweisungen erneut. Selbst wenn der Nutzer in sechs Runden nur eine Eingabe ändert, fallen für jede wiederholte Aufforderung Kosten an. Mit „Prompt Caching“ kann OpenRouter zwischengespeicherte Daten abrufen und so die Kosten für das erneute Senden identischer Aufforderungen umgehen. Je nach Anbieter kosten zwischengespeicherte Lesevorgänge das 0,1- bis 0,5-Fache des Standardpreises für Eingaben, was die Kosten erheblich senkt. Bei Claude Sonnet 4.6 beispielsweise kosten zwischengespeicherte Lesevorgänge nur 0,30 US-Dollar pro Million Token, verglichen mit 3,00 US-Dollar für normale Eingaben.

Um die Effektivität des Caches über mehrere Runden hinweg aufrechtzuerhalten, leitet das „Sticky Routing“ von OpenRouter nachfolgende Anfragen an denselben Anbieter weiter, der den „Hot Cache“ verwaltet, sodass Entwickler während der gesamten Konversation durchgehend von kostengünstigen Cache-Lesevorgängen profitieren können.
Um diese Innovation jedoch voll auszuschöpfen, müssen Entwickler während der gesamten Dauer dieselbe Sitzung beibehalten. Für ein optimales Caching empfiehlt OpenRouter die Festlegung einer `session_id`, die das „Sticky Routing“ unmittelbar nach der ersten erfolgreichen Anfrage aktiviert – nicht erst nach einem Cache-Treffer. Entwickler können die Cache-Nutzung zudem durch Überprüfung der Antwortdaten kontrollieren.
Mit dem Fortschritt der KI-Technologie bietet die neueste Funktion von OpenRouter Entwicklern nicht nur ein leistungsstarkes Werkzeug zur Kostenkontrolle, sondern eröffnet auch neue Möglichkeiten für Agentenanwendungen.
Stripe übernimmt OpenRouter – Routing auf Basis von KI-Modellen gewinnt an Dynamik
Stripe hat die Übernahme von OpenRouter vereinbart, einer Plattform für das Routing von KI-Modellen, die Entwicklern über eine einzige Schnittstelle Zugriff auf Hunderte von Modellen bietet. Durch die
Der ehemalige OpenAI-Forscher Barrett Zoph kehrt zu Google zurück, um die Entwicklung von Gemini voranzutreiben
Barret Zoph, der zuvor aufgrund von Meinungsverschiedenheiten mit Miriam Mularati, der Geschäftsführerin von Thinking Machines Lab, überraschend das Unternehmen verlassen und zu OpenAI gewechselt war,
Wie Recursive Intelligence innerhalb von vier Monaten 335 Millionen Dollar bei einer Bewertung von 4 Milliarden Dollar einwarb
Die Mitbegründerinnen des Start-ups Ricursive Intelligence schienen dafür prädestiniert zu sein, gemeinsam ein Unternehmen zu gründen.Anna Goldie, CEO, und Azalia Mirhoseini, CTO, sind in der KI-Commu











