KI-Kosten für Unternehmen: Claude-Modelle kosten 20-30% mehr als GPT bei der Bereitstellung

Abgesehen von direkten Kostenüberlegungen wirkt sich die Ineffizienz des Tokenizers indirekt auf die Nutzung des Kontextfensters aus. Während Anthropic-Modelle mit einem Kontextfenster von 200K Token im Vergleich zu OpenAIs 128K werben, kann die Ausführlichkeit der Tokenisierung den effektiv nutzbaren Platz in Anthropic-Modellen tatsächlich reduzieren. Dies führt zu einer potenziellen Diskrepanz zwischen den angekündigten Kontextfenstergrößen und ihrer praktischen, effektiven Kapazität.

Details der Tokenisierung-Implementierung

GPT-Modelle verwenden Byte Pair Encoding (BPE), das häufig vorkommende Zeichenpaare zu Token kombiniert. Die neuesten GPT-Modelle verwenden insbesondere den Open-Source-Tokenizer o200k_base. Die eigentlichen Token, die von GPT-4o innerhalb des tiktoken Tokenizers verwendet werden, sind öffentlich zugänglich.

JSON {#reasoning "o1-xxx": "o200k_base","o3-xxx": "o200k_base",# chat"chatgpt-4o-": "o200k_base","gpt-4o-xxx": "o200k_base",# z.B., gpt-4o-2024-05-13 "gpt-4-xxx": "cl100k_base",# z. B. gpt-4-0314, usw., plus gpt-4-32k "gpt-3.5-turbo-xxx": "cl100k_base",# z.B. gpt-3.5-turbo-0301, -0401, usw.}

Leider ist der Tokenisierungsansatz von Anthropic weniger transparent, da ihr Tokenizer nicht so leicht verfügbar ist wie der von GPT. Anthropic führte im Dezember 2024 eine Token-Counting-API ein, aber diese Funktion wurde in späteren Versionen 2025 wieder eingestellt.

Laut Latenode "verwendet Anthropic einen einzigartigen Tokenizer mit nur 65.000 Token-Variationen, verglichen mit den 100.261 Variationen von OpenAI für GPT-4". Ein öffentlich zugängliches Colab-Notebook enthält Python-Code zur Analyse der Tokenisierungsunterschiede zwischen GPT und Claude-Modellen. Ein weiteres Tool, das Schnittstellen zu gängigen, öffentlich verfügbaren Tokenizern bietet, bestätigt unsere Ergebnisse.

Für KI-Unternehmen ist die Möglichkeit, die Anzahl der Token genau zu schätzen, ohne die eigentlichen Modell-APIs aufzurufen, für die Kostenprognose und Budgetierung von entscheidender Bedeutung.

Wesentliche Einblicke

• Die wettbewerbsfähige Preisgestaltung von Anthropic enthält versteckte Kosten:
  Während Claude 3.5 Sonnet 40 % niedrigere Input-Token-Kosten als GPT-4o bietet, kann dieser scheinbare Vorteil aufgrund grundlegender Unterschiede bei der Text-Tokenisierung trügerisch sein.
• Die versteckte Ineffizienz der Tokenisierung:
  Anthropische Modelle erzeugen von Natur aus mehr Token. Für Unternehmen, die große Textmengen verarbeiten, ist es entscheidend, diese Unterschiede zu verstehen, um die Kosten für die Bereitstellung richtig einschätzen zu können.
• Domänenspezifische Tokenisierungsleistung:
  Bei der Auswahl zwischen OpenAI- und Anthropic-Modellen sollten Sie Ihre typischen Eingabeinhalte sorgfältig bewerten. Während bei natürlichsprachlichen Aufgaben nur minimale Kostenunterschiede auftreten können, könnten bei technischen oder strukturierten Domänen die Kosten für Anthropic-Modelle deutlich höher sein.
• Kapazität des effektiven Kontextfensters:
  Aufgrund der ausführlichen Tokenisierung von Anthropic könnte das beworbene Kontextfenster von 200K weniger praktisch nutzbaren Platz bieten als das von OpenAI mit 128K, wodurch eine Lücke zwischen der behaupteten und der tatsächlichen Kontextkapazität entstehen könnte.

Anthropic hatte bis zum Redaktionsschluss nicht auf die Anfrage von VentureBeat reagiert. Wir werden diesen Artikel aktualisieren, wenn sie eine Antwort geben.