OpenRouter, AI 다단계 대화 비용을 대폭 절감하는 기술 출시
AI 대화 기술이 발전함에 따라, OpenRouter는 다단계 에이전트 대화에서 토큰 비용을 절감하기 위해 설계된 두 가지 새로운 기능인 ‘프롬프트 캐싱(Prompt Caching)’과 ‘스티키 라우팅(Sticky Routing)’을 출시했습니다. 이 혁신을 통해 개발자는 에이전트와의 장시간 상호작용 시 비용을 절감할 수 있어, 에이전트 애플리케이션의 폭넓은 채택을 촉진합니다.
다단계 대화에서 에이전트는 동일한 시스템 프롬프트, 도구 정의 및 전략 지침을 빈번하게 재전송합니다. 사용자가 6라운드에 걸쳐 단 하나의 입력만 변경하더라도, 반복되는 각 프롬프트마다 비용이 발생합니다. 프롬프트 캐싱 기능을 통해 OpenRouter는 캐시된 데이터를 불러와 동일한 프롬프트를 재전송하는 데 드는 비용을 절감할 수 있습니다. 프로바이더에 따라 캐시된 데이터 읽기 비용은 표준 입력 가격의 0.1~0.5배 수준으로, 비용을 크게 절감해 줍니다. 예를 들어, Claude Sonnet 4.6의 경우 캐시된 데이터 읽기 비용은 100만 토큰당 0.30달러에 불과한 반면, 일반 입력 비용은 3.00달러입니다.

여러 턴에 걸쳐 캐시의 효율성을 유지하기 위해, OpenRouter의 스티키 라우팅(Sticky Routing) 기능은 후속 요청을 핫 캐시를 보유한 동일한 제공업체로 전송하여, 개발자가 대화 전반에 걸쳐 일관되게 저비용 캐시 읽기 혜택을 누릴 수 있도록 합니다.
다만, 이 혁신 기능을 최대한 활용하려면 개발자가 대화 전반에 걸쳐 동일한 세션을 유지해야 합니다. 최적의 캐싱을 위해 OpenRouter는 session_id를 설정할 것을 권장합니다. 이렇게 하면 캐시 히트 시뿐만 아니라 첫 번째 요청이 성공한 직후부터 스티키 라우팅이 즉시 활성화됩니다. 또한 개발자는 응답 데이터를 확인하여 캐시 사용 현황을 파악할 수 있습니다.
AI 기술이 발전함에 따라, OpenRouter의 최신 기능은 개발자에게 강력한 비용 관리 도구를 제공할 뿐만 아니라 에이전트 애플리케이션에 새로운 가능성을 열어줍니다.
관련 기사
AI 모델 라우팅이 주목받으면서 스트라이프, 오픈라우터 인수 예정
스트라이프(Stripe)는 개발자들이 단일 인터페이스를 통해 수백 개의 모델에 접근할 수 있게 해주는 AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)를 인수하기로 합의했습니다. 이번 인수를 통해 스트라이프의 기존 AI 활용 및 토큰 기반 청구 관련 사업에 모델 선택 및 라우팅 기능이 추가됩니다.스트라이프에 따르면, 오픈라우터는 80개 이상의 공급
전 OpenAI 연구원 배럿 조프, 제미니 개발 지원을 위해 구글로 복귀
이전에 Thinking Machines Lab의 CEO인 미리암 물라라티와 의견 차이로 갑작스럽게 퇴사한 뒤 OpenAI에 합류했던 바렛 조프가 다시 한 번 직장을 옮겼다. 알파벳 산하 구글은 조프가 연구 부사장으로 복귀해 강화 학습 및 사후 훈련 분야의 전문성을 제미니 팀에 기여할 것이라고 발표했다.“회전문” 연구원의 순환조프의 경력은 AI 인재 이동의
Recursive Intelligence가 4개월 만에 기업 가치 40억 달러로 3억 3,500만 달러를 유치한 방법
스타트업 ‘Ricursive Intelligence’의 공동 창업자들은 마치 공동 창업자가 될 운명이었던 듯하다.CEO인 안나 골디와 CTO인 아잘리아 미르호세이니는 AI 커뮤니티에서 너무나도 잘 알려진 인물들이어서, “저커버그로부터 터무니없는 제안을 담은 이상한 이메일을 받은” AI 엔지니어들 중 하나였다고 골디는 테크크런치에 웃으며 말했다. (그들은 그
관련 특별 주제 추천
의견 (0)
0/500
AI 대화 기술이 발전함에 따라, OpenRouter는 다단계 에이전트 대화에서 토큰 비용을 절감하기 위해 설계된 두 가지 새로운 기능인 ‘프롬프트 캐싱(Prompt Caching)’과 ‘스티키 라우팅(Sticky Routing)’을 출시했습니다. 이 혁신을 통해 개발자는 에이전트와의 장시간 상호작용 시 비용을 절감할 수 있어, 에이전트 애플리케이션의 폭넓은 채택을 촉진합니다.
다단계 대화에서 에이전트는 동일한 시스템 프롬프트, 도구 정의 및 전략 지침을 빈번하게 재전송합니다. 사용자가 6라운드에 걸쳐 단 하나의 입력만 변경하더라도, 반복되는 각 프롬프트마다 비용이 발생합니다. 프롬프트 캐싱 기능을 통해 OpenRouter는 캐시된 데이터를 불러와 동일한 프롬프트를 재전송하는 데 드는 비용을 절감할 수 있습니다. 프로바이더에 따라 캐시된 데이터 읽기 비용은 표준 입력 가격의 0.1~0.5배 수준으로, 비용을 크게 절감해 줍니다. 예를 들어, Claude Sonnet 4.6의 경우 캐시된 데이터 읽기 비용은 100만 토큰당 0.30달러에 불과한 반면, 일반 입력 비용은 3.00달러입니다.

여러 턴에 걸쳐 캐시의 효율성을 유지하기 위해, OpenRouter의 스티키 라우팅(Sticky Routing) 기능은 후속 요청을 핫 캐시를 보유한 동일한 제공업체로 전송하여, 개발자가 대화 전반에 걸쳐 일관되게 저비용 캐시 읽기 혜택을 누릴 수 있도록 합니다.
다만, 이 혁신 기능을 최대한 활용하려면 개발자가 대화 전반에 걸쳐 동일한 세션을 유지해야 합니다. 최적의 캐싱을 위해 OpenRouter는 session_id를 설정할 것을 권장합니다. 이렇게 하면 캐시 히트 시뿐만 아니라 첫 번째 요청이 성공한 직후부터 스티키 라우팅이 즉시 활성화됩니다. 또한 개발자는 응답 데이터를 확인하여 캐시 사용 현황을 파악할 수 있습니다.
AI 기술이 발전함에 따라, OpenRouter의 최신 기능은 개발자에게 강력한 비용 관리 도구를 제공할 뿐만 아니라 에이전트 애플리케이션에 새로운 가능성을 열어줍니다.
AI 모델 라우팅이 주목받으면서 스트라이프, 오픈라우터 인수 예정
스트라이프(Stripe)는 개발자들이 단일 인터페이스를 통해 수백 개의 모델에 접근할 수 있게 해주는 AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)를 인수하기로 합의했습니다. 이번 인수를 통해 스트라이프의 기존 AI 활용 및 토큰 기반 청구 관련 사업에 모델 선택 및 라우팅 기능이 추가됩니다.스트라이프에 따르면, 오픈라우터는 80개 이상의 공급
전 OpenAI 연구원 배럿 조프, 제미니 개발 지원을 위해 구글로 복귀
이전에 Thinking Machines Lab의 CEO인 미리암 물라라티와 의견 차이로 갑작스럽게 퇴사한 뒤 OpenAI에 합류했던 바렛 조프가 다시 한 번 직장을 옮겼다. 알파벳 산하 구글은 조프가 연구 부사장으로 복귀해 강화 학습 및 사후 훈련 분야의 전문성을 제미니 팀에 기여할 것이라고 발표했다.“회전문” 연구원의 순환조프의 경력은 AI 인재 이동의
Recursive Intelligence가 4개월 만에 기업 가치 40억 달러로 3억 3,500만 달러를 유치한 방법
스타트업 ‘Ricursive Intelligence’의 공동 창업자들은 마치 공동 창업자가 될 운명이었던 듯하다.CEO인 안나 골디와 CTO인 아잘리아 미르호세이니는 AI 커뮤니티에서 너무나도 잘 알려진 인물들이어서, “저커버그로부터 터무니없는 제안을 담은 이상한 이메일을 받은” AI 엔지니어들 중 하나였다고 골디는 테크크런치에 웃으며 말했다. (그들은 그





집






