Coûts de l'IA pour les entreprises : Le prix des modèles Claude est de 20 à 30 % plus élevé que celui des modèles GPT en termes de déploiement

Au-delà des considérations de coût direct, l'inefficacité du tokenizer affecte indirectement l'utilisation de la fenêtre de contexte. Alors que les modèles Anthropic annoncent une fenêtre de contexte de 200K tokens contre 128K pour OpenAI, la verbosité de la tokenisation peut en fait réduire l'espace utilisable effectif dans les modèles Anthropic. Cela crée un écart potentiel entre les tailles de fenêtre de contexte annoncées et leur capacité pratique et effective.

Détails de la mise en œuvre de la tokenisation

Les modèles GPT utilisent le codage par paires d'octets (BPE), qui combine des paires de caractères fréquentes pour former des jetons. Les derniers modèles GPT utilisent spécifiquement le tokenizer open-source o200k_base. Les jetons utilisés par GPT-4o dans le tokenizer tiktoken sont accessibles au public.

JSON {#reasoning "o1-xxx" : "o200k_base","o3-xxx": "o200k_base",# chat"chatgpt-4o-": "o200k_base","gpt-4o-xxx": "o200k_base",# par exemple, gpt-4o-2024-05-13 "gpt-4-xxx" : "cl100k_base",# par exemple, gpt-4-0314, etc., plus gpt-4-32k "gpt-3.5-turbo-xxx" : "cl100k_base",# par exemple gpt-3.5-turbo-0301, -0401, etc.}

Malheureusement, l'approche de tokenisation d'Anthropic reste moins transparente, car son tokenizer n'est pas aussi facilement disponible que celui de GPT. Anthropic a introduit une API de comptage de jetons en décembre 2024, mais cette fonctionnalité a été abandonnée dans les versions 2025 ultérieures.

Selon Latenode, "Anthropic utilise un tokenizer unique avec seulement 65 000 variations de token, comparé aux 100 261 variations d'OpenAI pour GPT-4." Un cahier Colab accessible au public contient un code Python permettant d'analyser les différences de symbolisation entre les modèles GPT et Claude. Un autre outil qui s'interface avec des tokenizers communs et accessibles au public corrobore nos résultats.

Pour les entreprises d'IA, la possibilité d'estimer avec précision le nombre de jetons sans invoquer les API des modèles réels est essentielle pour la prévision des coûts et l'établissement du budget.

Des informations essentielles

• Les prix compétitifs d'Anthropic contiennent des dépenses cachées :
  Alors que Claude 3.5 Sonnet offre des coûts de jetons d'entrée inférieurs de 40 % à ceux de GPT-4o, cet avantage apparent peut être trompeur en raison de différences fondamentales dans la tokenisation du texte.
• L'inefficacité cachée de la tokenisation :
  Les modèles anthropiques produisent intrinsèquement plus de jetons. Pour les organisations qui traitent des volumes de texte importants, il est essentiel de comprendre cette variation pour évaluer avec précision les coûts de déploiement.
• La performance de la tokenisation spécifique à un domaine :
  Lorsque vous choisissez entre les modèles OpenAI et Anthropic, évaluez soigneusement votre contenu d'entrée typique. Alors que les tâches en langage naturel peuvent présenter des différences de coûts minimes, les domaines techniques ou structurés pourraient connaître des dépenses significativement plus élevées avec les modèles Anthropic.
• Capacité effective de la fenêtre contextuelle :
  En raison de la verbosité de la tokenisation d'Anthropic, sa fenêtre de contexte annoncée de 200K pourrait fournir moins d'espace pratique utilisable que les 128K d'OpenAI, créant potentiellement un écart entre la capacité de contexte annoncée et la capacité réelle.

Anthropic n'avait pas répondu à la demande de commentaire de VentureBeat à l'heure de la publication. Nous mettrons à jour cet article en cas de réponse.