엔터프라이즈 AI 비용: 배포 시 GPT보다 20~30% 높은 가격의 클로드 모델
모델 제품군마다 서로 다른 토큰화 도구를 사용할 수 있다는 것은 널리 알려져 있습니다. 그러나 실제 토큰화 프로세스가 이러한 시스템마다 어떻게 다른지에 대한 연구는 제한적이었습니다. 모든 토큰라이저가 동일한 입력 텍스트에 대해 동일한 수의 토큰을 생성할까요? 그렇지 않다면 이러한 차이는 얼마나 클까요? 이러한 차이에는 어떤 실질적인 의미가 있을까요?
이 글에서는 토큰화 가변성의 실제 결과를 살펴봄으로써 이러한 질문에 대한 답을 찾아봅니다. 두 가지 주요 모델군을 비교 분석합니다: OpenAI의 ChatGPT와 Anthropic의 Claude. 광고된 '토큰당 비용'은 매우 경쟁력 있는 것처럼 보이지만, 테스트 결과 실제로는 Anthropic 모델이 GPT 모델보다 20~30% 더 비쌀 수 있는 것으로 나타났습니다.

API 가격 - 클로드 3.5 소넷과 GPT-4o 비교
2024년 6월 현재, 이 두 가지 고급 프론티어 모델의 가격 구조는 거의 일치합니다. 앤트로픽의 클로드 3.5 소넷과 OpenAI의 GPT-4o는 모두 출력 토큰에 대해 동일한 비용을 유지하는 반면, 클로드 3.5 소넷은 입력 토큰에 대해 40% 할인을 제공합니다.

출처: Vantage
숨겨진 토큰화의 비효율성
Anthropic의 낮은 입력 토큰 비율에도 불구하고 고정 프롬프트 세트를 사용한 실험 결과, GPT-4o가 Claude Sonnet-3.5보다 전체 비용이 지속적으로 더 경제적이라는 것이 입증되었습니다.
이러한 차이를 설명하는 것은 무엇일까요?
Anthropic의 토큰화기는 일반적으로 OpenAI의 접근 방식에 비해 동일한 입력 텍스트를 더 많은 토큰으로 세분화합니다. 즉, 동일한 프롬프트에 대해 Anthropic 모델은 OpenAI 모델보다 훨씬 더 많은 토큰 수를 생성합니다. 결과적으로 Claude 3.5 Sonnet의 토큰당 입력 비용은 더 낮아 보이지만, 토큰화 볼륨이 증가하면 이러한 절감 효과가 상쇄되어 실제 구현에 드는 총 비용이 더 높아지는 경우가 많습니다.
이러한 숨겨진 비용은 동일한 콘텐츠를 표현하기 위해 더 많은 토큰이 필요한 경우가 많은 Anthropic의 토큰 인코딩 방법론에서 발생합니다. 토큰 수의 증가는 운영 비용과 컨텍스트 창 효율성 모두에 상당한 영향을 미칩니다.
도메인별 토큰화 변형
앤트로픽의 토큰라이저는 다양한 콘텐츠 도메인을 다양한 효율로 처리하기 때문에 OpenAI 모델에 비해 토큰 수가 일관되지 않게 증가합니다. AI 연구 커뮤니티에서도 유사한 토큰화 차이를 문서화했습니다. 저희는 세 가지 주요 도메인에서 그 결과를 검증했습니다: 영어 기사, Python 코드, 수학 콘텐츠.
도메인 모델 입력 GPT 토큰 클로드 토큰 토큰 오버헤드 영어 문서
토큰화 차이의 추가적인 실무적 의미토큰화 도구의 비효율성은 직접적인 비용 고려 외에도 컨텍스트 창 활용도에 간접적으로 영향을 미칩니다. OpenAI의 128K에 비해 인공 지능 모델은 200K 토큰 컨텍스트 창을 광고하지만, 토큰화의 장황함은 실제로 인공 지능 모델의 유효 가용 공간을 감소시킬 수 있습니다. 이로 인해 광고된 컨텍스트 창 크기와 실제 유효 용량 간에 잠재적인 불일치가 발생할 수 있습니다.
토큰화 구현 세부 사항
GPT 모델은 자주 발생하는 문자 쌍을 결합하여 토큰을 형성하는 바이트 쌍 인코딩(BPE)을 활용합니다. 최신 GPT 모델은 특히 오픈 소스인 o200k_base 토큰화 도구를 사용합니다. 틱토큰 토큰화 프로그램 내에서 GPT-4o가 사용하는 실제 토큰은 공개적으로 액세스할 수 있습니다.
JSON {#reasoning"o1-xxx": "o200k_base","o3-xxx": "o200k_base",# chat"chatgpt-4o-": "o200k_base","gpt-4o-xxx": "O200K_BASE",# 예를 들어, GPT-4O-2024-05-13"GPT-4-XXX": "CL100K_BASE",# 예: GPT-4-0314 등, GPT-4-32K"GPT-3.5-TURBO-XXX": "cl100k_base",# 예, gpt-3.5-turbo-0301, -0401 등}.
안타깝게도, 토큰화 도구가 GPT만큼 쉽게 사용 가능하지 않기 때문에 Anthropic의 토큰화 접근 방식은 여전히 투명하지 않습니다. 2024년 12월에 토큰 카운팅 API를 도입했지만, 이 기능은 2025년 이후 버전에서 중단되었습니다.
Latenode에 따르면, "OpenAI가 GPT-4에서 100,261개의 토큰 변형을 제공하는 데 비해, Anthropic은 65,000개의 토큰 변형을 제공하는 고유한 토큰라이저를 사용합니다."라고 합니다. 공개적으로 사용 가능한 Colab 노트북에는 GPT와 Claude 모델 간의 토큰화 차이를 분석하기 위한 Python 코드가 포함되어 있습니다. 공개적으로 사용 가능한 일반적인 토큰화 도구와 인터페이스하는 또 다른 도구는 우리의 연구 결과를 뒷받침합니다.
AI 기업의 경우 실제 모델 API를 호출하지 않고도 토큰 수를 정확하게 추정할 수 있는 기능은 비용 예측 및 예산 책정에 필수적입니다.
필수 인사이트
- 앤트로픽의 경쟁력 있는 가격에는 숨겨진 비용이 포함되어 있습니다:
Claude 3.5 Sonnet은 GPT-4o보다 40% 낮은 입력 토큰 비용을 제공하지만, 텍스트 토큰화의 근본적인 차이로 인해 이러한 겉으로 보이는 이점은 기만적일 수 있습니다. - 숨겨진 토큰화의 비효율성:
인공 지능 모델은 본질적으로 더 많은 토큰을 생성합니다. 상당한 양의 텍스트를 처리하는 조직의 경우, 배포 비용을 정확하게 평가하려면 이러한 차이를 이해하는 것이 중요합니다. - 도메인별 토큰화 성능:
OpenAI와 인공 지능 모델 중에서 선택할 때는 일반적인 입력 콘텐츠를 신중하게 평가하세요. 자연어 작업은 비용 차이가 미미할 수 있지만, 기술 또는 구조화된 도메인은 인공 지능 모델을 사용하면 비용이 훨씬 더 많이 발생할 수 있습니다. - 효과적인 컨텍스트 창 용량:
Anthropic의 토큰화 장황함으로 인해 광고된 200K 컨텍스트 창은 OpenAI의 128K보다 실제 사용 가능한 공간이 적을 수 있으며, 이로 인해 청구된 컨텍스트 용량과 실제 컨텍스트 용량 간에 차이가 발생할 가능성이 있습니다.
앤트로픽은 기사 발행 시점까지 VentureBeat의 논평 요청에 응답하지 않았습니다. 답변이 오면 이 기사를 업데이트할 예정입니다.
관련 기사
Anthropic, 새로운 동적 워크플로우 도구를 탑재한 Opus 4.8 출시
앤트로픽은 목요일, 자사의 주력 공개 모델인 ‘오푸스(Opus)’의 최신 버전인 4.8을 공개했다. 이전 버전과 가격이 동일한 이번 업데이트는 이제 모든 플랫폼에서 이용할 수 있다.Opus 4.7 출시 불과 41일 만에 Opus 4.8을 공개한 Anthropic은 개발 주기를 대폭 단축했으며, 이는 최근 Sonnet 및 Haiku 출시 시 보였던 3개월 및
OpenAI, 청소년들이 ChatGPT를 사용하기 시작한 지 수년 만에 더 안전한 버전을 출시했다
AI 챗봇에 안전 프로토콜이 부재하여 청소년 자살 및 기타 정신 건강 위기를 초래했다는 일련의 소송이 제기된 데 이어, 오픈AI는 월요일 ‘ChatGPT for Teens’를 공개했다. 이 새로운 서비스는 강화된 안전 기능을 탑재했으며, 학교에서 AI 도구가 조장하는 학업 부정행위라는 점점 심각해지는 문제도 해결하고자 한다.교육적 관점에서 볼 때, ‘Cha
프론티어 AI 랩스, 비정상 모델에 대한 통제 전략 공개 거부
최근 연구에 따르면, 선도적인 AI 연구소 중 극소수만이 통제 대응 계획을 발표하거나 시연한 것으로 나타났습니다. 통제 계획은 AI 시스템이 인간의 통제를 무력화하려 할 때의 절차를 정의하며, 어떤 접근 권한이 철회되고 언제 시스템이 완전히 종료되는지를 명시합니다.이러한 결과는 안전한 최첨단 AI 개발 관행을 장려하는 데 주력하는 단체인 ‘Guideligh
관련 특별 주제 추천
의견 (1)
0/500
모델 제품군마다 서로 다른 토큰화 도구를 사용할 수 있다는 것은 널리 알려져 있습니다. 그러나 실제 토큰화 프로세스가 이러한 시스템마다 어떻게 다른지에 대한 연구는 제한적이었습니다. 모든 토큰라이저가 동일한 입력 텍스트에 대해 동일한 수의 토큰을 생성할까요? 그렇지 않다면 이러한 차이는 얼마나 클까요? 이러한 차이에는 어떤 실질적인 의미가 있을까요?
이 글에서는 토큰화 가변성의 실제 결과를 살펴봄으로써 이러한 질문에 대한 답을 찾아봅니다. 두 가지 주요 모델군을 비교 분석합니다: OpenAI의 ChatGPT와 Anthropic의 Claude. 광고된 '토큰당 비용'은 매우 경쟁력 있는 것처럼 보이지만, 테스트 결과 실제로는 Anthropic 모델이 GPT 모델보다 20~30% 더 비쌀 수 있는 것으로 나타났습니다.

API 가격 - 클로드 3.5 소넷과 GPT-4o 비교
2024년 6월 현재, 이 두 가지 고급 프론티어 모델의 가격 구조는 거의 일치합니다. 앤트로픽의 클로드 3.5 소넷과 OpenAI의 GPT-4o는 모두 출력 토큰에 대해 동일한 비용을 유지하는 반면, 클로드 3.5 소넷은 입력 토큰에 대해 40% 할인을 제공합니다.

출처: Vantage
숨겨진 토큰화의 비효율성
Anthropic의 낮은 입력 토큰 비율에도 불구하고 고정 프롬프트 세트를 사용한 실험 결과, GPT-4o가 Claude Sonnet-3.5보다 전체 비용이 지속적으로 더 경제적이라는 것이 입증되었습니다.
이러한 차이를 설명하는 것은 무엇일까요?
Anthropic의 토큰화기는 일반적으로 OpenAI의 접근 방식에 비해 동일한 입력 텍스트를 더 많은 토큰으로 세분화합니다. 즉, 동일한 프롬프트에 대해 Anthropic 모델은 OpenAI 모델보다 훨씬 더 많은 토큰 수를 생성합니다. 결과적으로 Claude 3.5 Sonnet의 토큰당 입력 비용은 더 낮아 보이지만, 토큰화 볼륨이 증가하면 이러한 절감 효과가 상쇄되어 실제 구현에 드는 총 비용이 더 높아지는 경우가 많습니다.
이러한 숨겨진 비용은 동일한 콘텐츠를 표현하기 위해 더 많은 토큰이 필요한 경우가 많은 Anthropic의 토큰 인코딩 방법론에서 발생합니다. 토큰 수의 증가는 운영 비용과 컨텍스트 창 효율성 모두에 상당한 영향을 미칩니다.
도메인별 토큰화 변형
앤트로픽의 토큰라이저는 다양한 콘텐츠 도메인을 다양한 효율로 처리하기 때문에 OpenAI 모델에 비해 토큰 수가 일관되지 않게 증가합니다. AI 연구 커뮤니티에서도 유사한 토큰화 차이를 문서화했습니다. 저희는 세 가지 주요 도메인에서 그 결과를 검증했습니다: 영어 기사, Python 코드, 수학 콘텐츠.
| 도메인 | 모델 입력 | GPT 토큰 | 클로드 토큰 | 토큰 오버헤드 |
| 영어 문서 | 토큰화 차이의 추가적인 실무적 의미토큰화 도구의 비효율성은 직접적인 비용 고려 외에도 컨텍스트 창 활용도에 간접적으로 영향을 미칩니다. OpenAI의 128K에 비해 인공 지능 모델은 200K 토큰 컨텍스트 창을 광고하지만, 토큰화의 장황함은 실제로 인공 지능 모델의 유효 가용 공간을 감소시킬 수 있습니다. 이로 인해 광고된 컨텍스트 창 크기와 실제 유효 용량 간에 잠재적인 불일치가 발생할 수 있습니다. 토큰화 구현 세부 사항GPT 모델은 자주 발생하는 문자 쌍을 결합하여 토큰을 형성하는 바이트 쌍 인코딩(BPE)을 활용합니다. 최신 GPT 모델은 특히 오픈 소스인 o200k_base 토큰화 도구를 사용합니다. 틱토큰 토큰화 프로그램 내에서 GPT-4o가 사용하는 실제 토큰은 공개적으로 액세스할 수 있습니다. 안타깝게도, 토큰화 도구가 GPT만큼 쉽게 사용 가능하지 않기 때문에 Anthropic의 토큰화 접근 방식은 여전히 투명하지 않습니다. 2024년 12월에 토큰 카운팅 API를 도입했지만, 이 기능은 2025년 이후 버전에서 중단되었습니다. Latenode에 따르면, "OpenAI가 GPT-4에서 100,261개의 토큰 변형을 제공하는 데 비해, Anthropic은 65,000개의 토큰 변형을 제공하는 고유한 토큰라이저를 사용합니다."라고 합니다. 공개적으로 사용 가능한 Colab 노트북에는 GPT와 Claude 모델 간의 토큰화 차이를 분석하기 위한 Python 코드가 포함되어 있습니다. 공개적으로 사용 가능한 일반적인 토큰화 도구와 인터페이스하는 또 다른 도구는 우리의 연구 결과를 뒷받침합니다. 필수 인사이트
앤트로픽은 기사 발행 시점까지 VentureBeat의 논평 요청에 응답하지 않았습니다. 답변이 오면 이 기사를 업데이트할 예정입니다. |
Anthropic, 새로운 동적 워크플로우 도구를 탑재한 Opus 4.8 출시
앤트로픽은 목요일, 자사의 주력 공개 모델인 ‘오푸스(Opus)’의 최신 버전인 4.8을 공개했다. 이전 버전과 가격이 동일한 이번 업데이트는 이제 모든 플랫폼에서 이용할 수 있다.Opus 4.7 출시 불과 41일 만에 Opus 4.8을 공개한 Anthropic은 개발 주기를 대폭 단축했으며, 이는 최근 Sonnet 및 Haiku 출시 시 보였던 3개월 및
OpenAI, 청소년들이 ChatGPT를 사용하기 시작한 지 수년 만에 더 안전한 버전을 출시했다
AI 챗봇에 안전 프로토콜이 부재하여 청소년 자살 및 기타 정신 건강 위기를 초래했다는 일련의 소송이 제기된 데 이어, 오픈AI는 월요일 ‘ChatGPT for Teens’를 공개했다. 이 새로운 서비스는 강화된 안전 기능을 탑재했으며, 학교에서 AI 도구가 조장하는 학업 부정행위라는 점점 심각해지는 문제도 해결하고자 한다.교육적 관점에서 볼 때, ‘Cha
프론티어 AI 랩스, 비정상 모델에 대한 통제 전략 공개 거부
최근 연구에 따르면, 선도적인 AI 연구소 중 극소수만이 통제 대응 계획을 발표하거나 시연한 것으로 나타났습니다. 통제 계획은 AI 시스템이 인간의 통제를 무력화하려 할 때의 절차를 정의하며, 어떤 접근 권한이 철회되고 언제 시스템이 완전히 종료되는지를 명시합니다.이러한 결과는 안전한 최첨단 AI 개발 관행을 장려하는 데 주력하는 단체인 ‘Guideligh





집






