Дом
OpenRouter запускает технологию, позволяющую значительно сократить затраты на многоступенчатые диалоги с использованием ИИ
По мере развития технологий искусственного интеллекта в сфере диалогового взаимодействия компания OpenRouter представила две новые функции — «Кэширование подсказок» (Prompt Caching) и «Фиксированная маршрутизация» (Sticky Routing) — призванные сократить расходы на токены при многораундовых диалогах с агентами. Эта инновация позволяет разработчикам снизить затраты при длительных взаимодействиях с агентами, что способствует более широкому внедрению приложений с участием агентов.
В многораундовых диалогах агенты часто повторно отправляют одни и те же системные подсказки, определения инструментов и инструкции по стратегии. Даже если пользователь изменяет только один вводный параметр за шесть раундов, за каждую повторную подсказку взимается плата. Функция «Кэширование подсказок» позволяет OpenRouter извлекать данные из кэша, тем самым избегая затрат на повторную отправку идентичных подсказок. В зависимости от провайдера чтение данных из кэша обходится в 0,1–0,5 раза дешевле, чем стандартная стоимость ввода, что значительно снижает расходы. Например, на Claude Sonnet 4.6 чтение данных из кэша стоит всего 0,30 доллара за миллион токенов, тогда как обычный ввод — 3,00 доллара.

Чтобы сохранить эффективность кэша на протяжении нескольких раундов, функция Sticky Routing от OpenRouter направляет последующие запросы тому же провайдеру, у которого находится «горячий» кэш, что позволяет разработчикам стабильно пользоваться недорогим чтением из кэша на протяжении всего диалога.
Однако, чтобы в полной мере воспользоваться преимуществами этой инновации, разработчики должны сохранять одну и ту же сессию на протяжении всего диалога. Для оптимального кэширования OpenRouter рекомендует установить session_id, который активирует функцию Sticky Routing сразу после первого успешного запроса, а не только после попадания в кэш. Разработчики также могут проверить использование кэша, проанализировав данные ответа.
По мере развития технологий искусственного интеллекта новая функция OpenRouter не только предоставляет разработчикам мощный инструмент контроля затрат, но и открывает новые возможности для приложений-агентов.
Связанная статья
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в
Как компания Recursive Intelligence за 4 месяца привлекла 335 млн долларов при оценке в 4 млрд долларов
Соучредителям стартапа Ricursive Intelligence, похоже, было суждено стать соучредителями.Анна Голди, генеральный директор, и Азалия Мирхосейни, технический директор, настолько известны в сообществе сп
Рекомендации по связанным специальным темам
Комментарии (0)
По мере развития технологий искусственного интеллекта в сфере диалогового взаимодействия компания OpenRouter представила две новые функции — «Кэширование подсказок» (Prompt Caching) и «Фиксированная маршрутизация» (Sticky Routing) — призванные сократить расходы на токены при многораундовых диалогах с агентами. Эта инновация позволяет разработчикам снизить затраты при длительных взаимодействиях с агентами, что способствует более широкому внедрению приложений с участием агентов.
В многораундовых диалогах агенты часто повторно отправляют одни и те же системные подсказки, определения инструментов и инструкции по стратегии. Даже если пользователь изменяет только один вводный параметр за шесть раундов, за каждую повторную подсказку взимается плата. Функция «Кэширование подсказок» позволяет OpenRouter извлекать данные из кэша, тем самым избегая затрат на повторную отправку идентичных подсказок. В зависимости от провайдера чтение данных из кэша обходится в 0,1–0,5 раза дешевле, чем стандартная стоимость ввода, что значительно снижает расходы. Например, на Claude Sonnet 4.6 чтение данных из кэша стоит всего 0,30 доллара за миллион токенов, тогда как обычный ввод — 3,00 доллара.

Чтобы сохранить эффективность кэша на протяжении нескольких раундов, функция Sticky Routing от OpenRouter направляет последующие запросы тому же провайдеру, у которого находится «горячий» кэш, что позволяет разработчикам стабильно пользоваться недорогим чтением из кэша на протяжении всего диалога.
Однако, чтобы в полной мере воспользоваться преимуществами этой инновации, разработчики должны сохранять одну и ту же сессию на протяжении всего диалога. Для оптимального кэширования OpenRouter рекомендует установить session_id, который активирует функцию Sticky Routing сразу после первого успешного запроса, а не только после попадания в кэш. Разработчики также могут проверить использование кэша, проанализировав данные ответа.
По мере развития технологий искусственного интеллекта новая функция OpenRouter не только предоставляет разработчикам мощный инструмент контроля затрат, но и открывает новые возможности для приложений-агентов.
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в
Как компания Recursive Intelligence за 4 месяца привлекла 335 млн долларов при оценке в 4 млрд долларов
Соучредителям стартапа Ricursive Intelligence, похоже, было суждено стать соучредителями.Анна Голди, генеральный директор, и Азалия Мирхосейни, технический директор, настолько известны в сообществе сп











