企業 AI 成本:Claude 模型的部署價格比 GPT 高出 20-30
眾所周知,不同的模型系列可能會採用不同的標記化器。然而,對於這些系統之間實際的標記化過程有何差異的研究卻很有限。對於相同的輸入文字,是否所有的標記化器都會產生相同數量的標記?如果不是,這些差異的程度有多大?它們有什麼實際影響?
本文透過檢視標記化差異性的實際後果來探討這些問題。我們提出了兩個主要模型系列的比較分析:OpenAI 的 ChatGPT 與 Anthropic 的 Claude。雖然它們所宣傳的「每個代碼成本」看似極具競爭力,但我們的測試顯示,Anthropic 模型實際上可能比 GPT 模型貴 20-30%。

API 定價 - Claude 3.5 Sonnet vs GPT-4o
截至 2024 年 6 月,這兩種先進前沿機型的定價結構非常接近。Anthropic 的 Claude 3.5 Sonnet 與 OpenAI 的 GPT-4o 都維持相同的輸出代幣成本,而 Claude 3.5 Sonnet 則提供輸入代幣 40% 的折扣。

資料來源來源:Vantage
隱藏的代幣化低效率
儘管 Anthropic 的輸入代幣費率較低,但我們使用固定提示集進行的實驗顯示,GPT-4o 始終比 Claude Sonnet-3.5 提供更經濟的整體成本。
為什麼會有這種差異?
與 OpenAI 的方法相比,Anthropic 的 tokenizer 通常會將相同的輸入文字分割成更多的 token。這表示,對於相同的提示,Anthropic 模型產生的符記數明顯高於 OpenAI 的等同物。因此,雖然 Claude 3.5 Sonnet 的每個符記輸入成本看似較低,但增加的符記化數量往往抵銷了這些節省,導致實際實作的總支出較高。
Anthropic 的代幣編碼方法經常需要更多的代幣來表示相等的內容,因此產生了這種隱藏成本。代幣數量的膨脹會大幅影響運作成本和上下文視窗的效率。
特定領域的標記化變化
Anthropic 的 tokenizer 處理不同內容領域的效率各異,相較於 OpenAI 的模型,產生不一致的 token 數增加。AI 研究社群也記錄了類似的標記化差異。我們在三個顯著的領域中驗證了我們的發現:英文文章、Python 程式碼和數學內容。
領域 模型輸入 GPT 標記 克勞德代號 代幣開銷百分比 英文文章
代幣化差異的其他實際影響除了直接的成本考量之外,代幣化器的低效率也間接影響上下文視窗的使用率。與 OpenAI 的 128K 相比,Anthropic 模型宣傳的 200K 記憶體上下文視窗,其標記化的冗長程度實際上可能會減少 Anthropic 模型的有效可用空間。這就造成了宣傳的上下文視窗大小與實際有效容量之間的潛在差異。
代幣化實作細節
GPT 模型使用「位元組對編碼」(Byte Pair Encoding,BPE),將經常出現的字元組合起來形成代幣。最新的 GPT 模型特別採用開放原始碼的 o200k_base tokenizer。GPT-4o 在 tiktoken tokenizer 中使用的實際 token 是可以公開取得的。
JSON {#reasoning "o1-xxx":"o200k_base","o3-xxx":"o200k_base",# chat"chatgpt-4o-":"o200k_base","gpt-4o-xxx":"o200k_base",# e.g., gpt-4o-2024-05-13 "gpt-4-xxx":"cl100k_base「,# 例如,gpt-4-0314 等,加上 gpt-4-32k 」gpt-3.5-turbo-xxx":"cl100k_base",# 例如,gpt-3.5-turbo-0301、-0401 等}。
不幸的是,Anthropic 的令牌化方法仍然不太透明,因為他們的令牌化器不像 GPT 的那麼容易取得。Anthropic 在 2024 年 12 月推出代幣計數 API,但此功能在 2025 年之後的版本中停止使用。
根據 Latenode 的說法,「Anthropic 採用了獨一無二的 tokenizer,只有 65,000 種 token 變化,而 OpenAI 的 GPT-4 則有 100,261 種變化」。一個公開可用的 Colab 記事本包含 Python 程式碼,用來分析 GPT 與 Claude 模型之間的 tokenization 差異。另一個與常見、公開可用的 tokenizer 相連結的工具也印證了我們的發現。
對於 AI 企業而言,在不調用實際模型 API 的情況下精確估算代幣數量的能力,對於成本預測和預算編列而言至關重要。
重要的洞察力
- Anthropic 具競爭力的定價包含隱藏費用:
雖然 Claude 3.5 Sonnet 的輸入代幣成本比 GPT-4o 低 40%,但由於文字代幣化的根本差異,這種表面上的優勢可能具有欺騙性。 - 隱藏的標記化低效率:
人類模型本質上會產生更多的符記。對於處理大量文字的組織而言,瞭解這種差異對於準確評估部署成本至關重要。 - 特定領域的標記化效能:
在選擇 OpenAI 與 Anthropic 模型時,請仔細評估您的典型輸入內容。雖然自然語言任務可能會顯示最小的成本差異,但技術或結構化領域使用 Anthropic 模型可能會產生顯著更高的費用。 - 有效的情境視窗容量:
由於 Anthropic 的標記化詞彙冗長,其所宣傳的 200K 上下文視窗所提供的實際可用空間可能小於 OpenAI 的 128K,可能造成聲稱與實際上下文容量之間的差距。
Anthropic 尚未回應 VentureBeat 的置評要求。如果他們提供回應,我們將會更新這篇文章。
相關文章
薩提亞·納德拉準備利用與OpenAI的新合作關係
週三,一位華爾街分析師直接詢問了微軟執行長薩蒂亞·納德拉,修訂後的OpenAI合作關係將如何影響公司的財務狀況。 納德拉將這一新協議描述為對各方都有利的結果。“我們對與OpenAI的合作感到滿意。我始終非常重視任何合作關係,並確保它能夠實現雙贏。只有這樣,雙方才能保持良好的合作伙伴關係。” 他強調,微軟仍然可以使用OpenAI的智慧財產權,包括其模型和智慧體產品,但不再需要為此向OpenAI支付費用。 談到在2032年之前可以免費使用OpenAI最先進的人工智慧技術,納德拉表示:“
OpenAI 勾勒出以公共財富基金、機器人稅及每週四天工作制為核心的人工智慧經濟藍圖
當各國政府正竭力應對超智能機器帶來的經濟衝擊之際,OpenAI 發布了一系列政策提案,闡述在「智能時代」中財富與工作可能如何重塑。這些構想將傳統的左翼機制——例如公共財富基金與擴大的社會安全網——與根本上資本主義、市場導向的經濟框架相融合。OpenAI 的提案本質上是一份願望清單,這份公開聲明有助於民選官員、投資者及公眾理解這家市值 8,520 億美元的公司,如何看待人工智慧在重塑勞動與經濟的過程
葛瑞格・布洛克曼揭露伊隆・馬斯克如何離開 OpenAI
2017年8月下旬,OpenAI(當時還是一家小型非營利研究實驗室)的核心成員召開會議,商討如何成立營利實體以將其技術商業化,並籌集實現通用人工智慧(AGI)所需的資金。伊隆·馬斯克要求對公司擁有完全控制權,並剛向每位共同創辦人贈送了一輛特斯拉Model 3。技術長格雷格·布羅克曼表示,他認為這是在馬斯克與山姆·奧特曼為各自對公司未來的願景爭取支持之際,試圖用這份禮物來收買他們。 OpenAI的研
相關專題推薦
評論 (0)
0/500
眾所周知,不同的模型系列可能會採用不同的標記化器。然而,對於這些系統之間實際的標記化過程有何差異的研究卻很有限。對於相同的輸入文字,是否所有的標記化器都會產生相同數量的標記?如果不是,這些差異的程度有多大?它們有什麼實際影響?
本文透過檢視標記化差異性的實際後果來探討這些問題。我們提出了兩個主要模型系列的比較分析:OpenAI 的 ChatGPT 與 Anthropic 的 Claude。雖然它們所宣傳的「每個代碼成本」看似極具競爭力,但我們的測試顯示,Anthropic 模型實際上可能比 GPT 模型貴 20-30%。

API 定價 - Claude 3.5 Sonnet vs GPT-4o
截至 2024 年 6 月,這兩種先進前沿機型的定價結構非常接近。Anthropic 的 Claude 3.5 Sonnet 與 OpenAI 的 GPT-4o 都維持相同的輸出代幣成本,而 Claude 3.5 Sonnet 則提供輸入代幣 40% 的折扣。

資料來源來源:Vantage
隱藏的代幣化低效率
儘管 Anthropic 的輸入代幣費率較低,但我們使用固定提示集進行的實驗顯示,GPT-4o 始終比 Claude Sonnet-3.5 提供更經濟的整體成本。
為什麼會有這種差異?
與 OpenAI 的方法相比,Anthropic 的 tokenizer 通常會將相同的輸入文字分割成更多的 token。這表示,對於相同的提示,Anthropic 模型產生的符記數明顯高於 OpenAI 的等同物。因此,雖然 Claude 3.5 Sonnet 的每個符記輸入成本看似較低,但增加的符記化數量往往抵銷了這些節省,導致實際實作的總支出較高。
Anthropic 的代幣編碼方法經常需要更多的代幣來表示相等的內容,因此產生了這種隱藏成本。代幣數量的膨脹會大幅影響運作成本和上下文視窗的效率。
特定領域的標記化變化
Anthropic 的 tokenizer 處理不同內容領域的效率各異,相較於 OpenAI 的模型,產生不一致的 token 數增加。AI 研究社群也記錄了類似的標記化差異。我們在三個顯著的領域中驗證了我們的發現:英文文章、Python 程式碼和數學內容。
| 領域 | 模型輸入 | GPT 標記 | 克勞德代號 | 代幣開銷百分比 |
| 英文文章 | 代幣化差異的其他實際影響除了直接的成本考量之外,代幣化器的低效率也間接影響上下文視窗的使用率。與 OpenAI 的 128K 相比,Anthropic 模型宣傳的 200K 記憶體上下文視窗,其標記化的冗長程度實際上可能會減少 Anthropic 模型的有效可用空間。這就造成了宣傳的上下文視窗大小與實際有效容量之間的潛在差異。 代幣化實作細節GPT 模型使用「位元組對編碼」(Byte Pair Encoding,BPE),將經常出現的字元組合起來形成代幣。最新的 GPT 模型特別採用開放原始碼的 o200k_base tokenizer。GPT-4o 在 tiktoken tokenizer 中使用的實際 token 是可以公開取得的。 不幸的是,Anthropic 的令牌化方法仍然不太透明,因為他們的令牌化器不像 GPT 的那麼容易取得。Anthropic 在 2024 年 12 月推出代幣計數 API,但此功能在 2025 年之後的版本中停止使用。 根據 Latenode 的說法,「Anthropic 採用了獨一無二的 tokenizer,只有 65,000 種 token 變化,而 OpenAI 的 GPT-4 則有 100,261 種變化」。一個公開可用的 Colab 記事本包含 Python 程式碼,用來分析 GPT 與 Claude 模型之間的 tokenization 差異。另一個與常見、公開可用的 tokenizer 相連結的工具也印證了我們的發現。 重要的洞察力
Anthropic 尚未回應 VentureBeat 的置評要求。如果他們提供回應,我們將會更新這篇文章。 |
薩提亞·納德拉準備利用與OpenAI的新合作關係
週三,一位華爾街分析師直接詢問了微軟執行長薩蒂亞·納德拉,修訂後的OpenAI合作關係將如何影響公司的財務狀況。 納德拉將這一新協議描述為對各方都有利的結果。“我們對與OpenAI的合作感到滿意。我始終非常重視任何合作關係,並確保它能夠實現雙贏。只有這樣,雙方才能保持良好的合作伙伴關係。” 他強調,微軟仍然可以使用OpenAI的智慧財產權,包括其模型和智慧體產品,但不再需要為此向OpenAI支付費用。 談到在2032年之前可以免費使用OpenAI最先進的人工智慧技術,納德拉表示:“
OpenAI 勾勒出以公共財富基金、機器人稅及每週四天工作制為核心的人工智慧經濟藍圖
當各國政府正竭力應對超智能機器帶來的經濟衝擊之際,OpenAI 發布了一系列政策提案,闡述在「智能時代」中財富與工作可能如何重塑。這些構想將傳統的左翼機制——例如公共財富基金與擴大的社會安全網——與根本上資本主義、市場導向的經濟框架相融合。OpenAI 的提案本質上是一份願望清單,這份公開聲明有助於民選官員、投資者及公眾理解這家市值 8,520 億美元的公司,如何看待人工智慧在重塑勞動與經濟的過程
葛瑞格・布洛克曼揭露伊隆・馬斯克如何離開 OpenAI
2017年8月下旬,OpenAI(當時還是一家小型非營利研究實驗室)的核心成員召開會議,商討如何成立營利實體以將其技術商業化,並籌集實現通用人工智慧(AGI)所需的資金。伊隆·馬斯克要求對公司擁有完全控制權,並剛向每位共同創辦人贈送了一輛特斯拉Model 3。技術長格雷格·布羅克曼表示,他認為這是在馬斯克與山姆·奧特曼為各自對公司未來的願景爭取支持之際,試圖用這份禮物來收買他們。 OpenAI的研





首頁






