Custos de IA corporativa: Modelos de Claude com preços 20-30% mais altos do que a GPT na implantação

Além das considerações de custo direto, a ineficiência do tokenizador afeta indiretamente a utilização da janela de contexto. Embora os modelos Anthropic anunciem uma janela de contexto de 200 mil tokens em comparação com os 128 mil da OpenAI, a verbosidade da tokenização pode, na verdade, reduzir o espaço utilizável efetivo nos modelos Anthropic. Isso cria uma possível discrepância entre os tamanhos de janela de contexto anunciados e sua capacidade prática e efetiva.

Detalhes da implementação da tokenização

Os modelos GPT utilizam Byte Pair Encoding (BPE), que combina pares de caracteres que ocorrem com frequência para formar tokens. Os modelos GPT mais recentes empregam especificamente o tokenizador de código aberto o200k_base. Os tokens reais usados pelo GPT-4o no tokenizador tiktoken podem ser acessados publicamente.

JSON {#reasoning "o1-xxx": "o200k_base","o3-xxx": "o200k_base",# chat"chatgpt-4o-": "o200k_base","gpt-4o-xxx": "o200k_base",# por exemplo, gpt-4o-2024-05-13 "gpt-4-xxx": "cl100k_base",# por exemplo, gpt-4-0314, etc., além de gpt-4-32k "gpt-3.5-turbo-xxx": "cl100k_base",# por exemplo, gpt-3.5-turbo-0301, -0401, etc.}

Infelizmente, a abordagem de tokenização do Anthropic permanece menos transparente, pois seu tokenizador não está tão prontamente disponível quanto o do GPT. O Anthropic introduziu uma API de contagem de tokens em dezembro de 2024, mas esse recurso foi descontinuado em versões posteriores de 2025.

De acordo com a Latenode, "o Anthropic emprega um tokenizador exclusivo com apenas 65.000 variações de token, em comparação com as 100.261 variações do OpenAI para GPT-4". Um notebook Colab disponível publicamente contém código Python para analisar as diferenças de tokenização entre os modelos GPT e Claude. Outra ferramenta que faz interface com tokenizadores comuns e publicamente disponíveis corrobora nossas descobertas.

Para as empresas de IA, a capacidade de estimar com precisão as contagens de tokens sem invocar APIs de modelos reais é essencial para a previsão de custos e o orçamento.

Insights essenciais

• O preço competitivo do Anthropic contém despesas ocultas:
  Embora o Claude 3.5 Sonnet ofereça custos de token de entrada 40% menores do que o GPT-4o, essa vantagem aparente pode ser enganosa devido a diferenças fundamentais na tokenização de texto.
• A ineficiência oculta da tokenização:
  Os modelos antrópicos produzem inerentemente mais tokens. Para as organizações que processam volumes substanciais de texto, compreender essa variação é fundamental para avaliar com precisão os custos de implementação.
• Desempenho de tokenização específico do domínio:
  Ao escolher entre os modelos OpenAI e Anthropic, avalie cuidadosamente seu conteúdo de entrada típico. Embora as tarefas de linguagem natural possam apresentar diferenças mínimas de custo, os domínios técnicos ou estruturados podem ter despesas significativamente maiores com os modelos Anthropic.
• Capacidade efetiva da janela de contexto:
  Devido à verbosidade de tokenização do Anthropic, sua janela de contexto de 200K anunciada pode fornecer menos espaço prático utilizável do que os 128K do OpenAI, criando potencialmente uma lacuna entre a capacidade de contexto reivindicada e a real.

A Anthropic não havia respondido ao pedido de comentário da VentureBeat até o momento da publicação. Atualizaremos este artigo se eles fornecerem uma resposta.