企業 AI 成本:Claude 模型的部署價格比 GPT 高出 20-30
眾所周知,不同的模型系列可能會採用不同的標記化器。然而,對於這些系統之間實際的標記化過程有何差異的研究卻很有限。對於相同的輸入文字,是否所有的標記化器都會產生相同數量的標記?如果不是,這些差異的程度有多大?它們有什麼實際影響?
本文透過檢視標記化差異性的實際後果來探討這些問題。我們提出了兩個主要模型系列的比較分析:OpenAI 的 ChatGPT 與 Anthropic 的 Claude。雖然它們所宣傳的「每個代碼成本」看似極具競爭力,但我們的測試顯示,Anthropic 模型實際上可能比 GPT 模型貴 20-30%。

API 定價 - Claude 3.5 Sonnet vs GPT-4o
截至 2024 年 6 月,這兩種先進前沿機型的定價結構非常接近。Anthropic 的 Claude 3.5 Sonnet 與 OpenAI 的 GPT-4o 都維持相同的輸出代幣成本,而 Claude 3.5 Sonnet 則提供輸入代幣 40% 的折扣。

資料來源來源:Vantage
隱藏的代幣化低效率
儘管 Anthropic 的輸入代幣費率較低,但我們使用固定提示集進行的實驗顯示,GPT-4o 始終比 Claude Sonnet-3.5 提供更經濟的整體成本。
為什麼會有這種差異?
與 OpenAI 的方法相比,Anthropic 的 tokenizer 通常會將相同的輸入文字分割成更多的 token。這表示,對於相同的提示,Anthropic 模型產生的符記數明顯高於 OpenAI 的等同物。因此,雖然 Claude 3.5 Sonnet 的每個符記輸入成本看似較低,但增加的符記化數量往往抵銷了這些節省,導致實際實作的總支出較高。
Anthropic 的代幣編碼方法經常需要更多的代幣來表示相等的內容,因此產生了這種隱藏成本。代幣數量的膨脹會大幅影響運作成本和上下文視窗的效率。
特定領域的標記化變化
Anthropic 的 tokenizer 處理不同內容領域的效率各異,相較於 OpenAI 的模型,產生不一致的 token 數增加。AI 研究社群也記錄了類似的標記化差異。我們在三個顯著的領域中驗證了我們的發現:英文文章、Python 程式碼和數學內容。
領域 模型輸入 GPT 標記 克勞德代號 代幣開銷百分比 英文文章
代幣化差異的其他實際影響除了直接的成本考量之外,代幣化器的低效率也間接影響上下文視窗的使用率。與 OpenAI 的 128K 相比,Anthropic 模型宣傳的 200K 記憶體上下文視窗,其標記化的冗長程度實際上可能會減少 Anthropic 模型的有效可用空間。這就造成了宣傳的上下文視窗大小與實際有效容量之間的潛在差異。
代幣化實作細節
GPT 模型使用「位元組對編碼」(Byte Pair Encoding,BPE),將經常出現的字元組合起來形成代幣。最新的 GPT 模型特別採用開放原始碼的 o200k_base tokenizer。GPT-4o 在 tiktoken tokenizer 中使用的實際 token 是可以公開取得的。
JSON {#reasoning "o1-xxx":"o200k_base","o3-xxx":"o200k_base",# chat"chatgpt-4o-":"o200k_base","gpt-4o-xxx":"o200k_base",# e.g., gpt-4o-2024-05-13 "gpt-4-xxx":"cl100k_base「,# 例如,gpt-4-0314 等,加上 gpt-4-32k 」gpt-3.5-turbo-xxx":"cl100k_base",# 例如,gpt-3.5-turbo-0301、-0401 等}。
不幸的是,Anthropic 的令牌化方法仍然不太透明,因為他們的令牌化器不像 GPT 的那麼容易取得。Anthropic 在 2024 年 12 月推出代幣計數 API,但此功能在 2025 年之後的版本中停止使用。
根據 Latenode 的說法,「Anthropic 採用了獨一無二的 tokenizer,只有 65,000 種 token 變化,而 OpenAI 的 GPT-4 則有 100,261 種變化」。一個公開可用的 Colab 記事本包含 Python 程式碼,用來分析 GPT 與 Claude 模型之間的 tokenization 差異。另一個與常見、公開可用的 tokenizer 相連結的工具也印證了我們的發現。
對於 AI 企業而言,在不調用實際模型 API 的情況下精確估算代幣數量的能力,對於成本預測和預算編列而言至關重要。
重要的洞察力
- Anthropic 具競爭力的定價包含隱藏費用:
雖然 Claude 3.5 Sonnet 的輸入代幣成本比 GPT-4o 低 40%,但由於文字代幣化的根本差異,這種表面上的優勢可能具有欺騙性。 - 隱藏的標記化低效率:
人類模型本質上會產生更多的符記。對於處理大量文字的組織而言,瞭解這種差異對於準確評估部署成本至關重要。 - 特定領域的標記化效能:
在選擇 OpenAI 與 Anthropic 模型時,請仔細評估您的典型輸入內容。雖然自然語言任務可能會顯示最小的成本差異,但技術或結構化領域使用 Anthropic 模型可能會產生顯著更高的費用。 - 有效的情境視窗容量:
由於 Anthropic 的標記化詞彙冗長,其所宣傳的 200K 上下文視窗所提供的實際可用空間可能小於 OpenAI 的 128K,可能造成聲稱與實際上下文容量之間的差距。
Anthropic 尚未回應 VentureBeat 的置評要求。如果他們提供回應,我們將會更新這篇文章。
相關文章
Anthropic 推出 Opus 4.8,搭載全新的動態工作流程工具
Anthropic 於週四正式推出 Opus 4.8,這是其旗艦級公開模型的最新版本。此版本定價與前一版本相同,現已於所有平台上線。距離 Opus 4.7 發布僅隔 41 天,Anthropic 顯著加快了開發週期,遠快於近期 Sonnet 和 Haiku 版本所見的三個月及七個月間隔。此次快速更新很可能是為了回應 Opus 4.7 所獲得的冷淡反響,該版本曾讓許多使用者感到失望。與此同時,Ope
OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
相關專題推薦
評論 (1)
0/500
眾所周知,不同的模型系列可能會採用不同的標記化器。然而,對於這些系統之間實際的標記化過程有何差異的研究卻很有限。對於相同的輸入文字,是否所有的標記化器都會產生相同數量的標記?如果不是,這些差異的程度有多大?它們有什麼實際影響?
本文透過檢視標記化差異性的實際後果來探討這些問題。我們提出了兩個主要模型系列的比較分析:OpenAI 的 ChatGPT 與 Anthropic 的 Claude。雖然它們所宣傳的「每個代碼成本」看似極具競爭力,但我們的測試顯示,Anthropic 模型實際上可能比 GPT 模型貴 20-30%。

API 定價 - Claude 3.5 Sonnet vs GPT-4o
截至 2024 年 6 月,這兩種先進前沿機型的定價結構非常接近。Anthropic 的 Claude 3.5 Sonnet 與 OpenAI 的 GPT-4o 都維持相同的輸出代幣成本,而 Claude 3.5 Sonnet 則提供輸入代幣 40% 的折扣。

資料來源來源:Vantage
隱藏的代幣化低效率
儘管 Anthropic 的輸入代幣費率較低,但我們使用固定提示集進行的實驗顯示,GPT-4o 始終比 Claude Sonnet-3.5 提供更經濟的整體成本。
為什麼會有這種差異?
與 OpenAI 的方法相比,Anthropic 的 tokenizer 通常會將相同的輸入文字分割成更多的 token。這表示,對於相同的提示,Anthropic 模型產生的符記數明顯高於 OpenAI 的等同物。因此,雖然 Claude 3.5 Sonnet 的每個符記輸入成本看似較低,但增加的符記化數量往往抵銷了這些節省,導致實際實作的總支出較高。
Anthropic 的代幣編碼方法經常需要更多的代幣來表示相等的內容,因此產生了這種隱藏成本。代幣數量的膨脹會大幅影響運作成本和上下文視窗的效率。
特定領域的標記化變化
Anthropic 的 tokenizer 處理不同內容領域的效率各異,相較於 OpenAI 的模型,產生不一致的 token 數增加。AI 研究社群也記錄了類似的標記化差異。我們在三個顯著的領域中驗證了我們的發現:英文文章、Python 程式碼和數學內容。
| 領域 | 模型輸入 | GPT 標記 | 克勞德代號 | 代幣開銷百分比 |
| 英文文章 | 代幣化差異的其他實際影響除了直接的成本考量之外,代幣化器的低效率也間接影響上下文視窗的使用率。與 OpenAI 的 128K 相比,Anthropic 模型宣傳的 200K 記憶體上下文視窗,其標記化的冗長程度實際上可能會減少 Anthropic 模型的有效可用空間。這就造成了宣傳的上下文視窗大小與實際有效容量之間的潛在差異。 代幣化實作細節GPT 模型使用「位元組對編碼」(Byte Pair Encoding,BPE),將經常出現的字元組合起來形成代幣。最新的 GPT 模型特別採用開放原始碼的 o200k_base tokenizer。GPT-4o 在 tiktoken tokenizer 中使用的實際 token 是可以公開取得的。 不幸的是,Anthropic 的令牌化方法仍然不太透明,因為他們的令牌化器不像 GPT 的那麼容易取得。Anthropic 在 2024 年 12 月推出代幣計數 API,但此功能在 2025 年之後的版本中停止使用。 根據 Latenode 的說法,「Anthropic 採用了獨一無二的 tokenizer,只有 65,000 種 token 變化,而 OpenAI 的 GPT-4 則有 100,261 種變化」。一個公開可用的 Colab 記事本包含 Python 程式碼,用來分析 GPT 與 Claude 模型之間的 tokenization 差異。另一個與常見、公開可用的 tokenizer 相連結的工具也印證了我們的發現。 重要的洞察力
Anthropic 尚未回應 VentureBeat 的置評要求。如果他們提供回應,我們將會更新這篇文章。 |
Anthropic 推出 Opus 4.8,搭載全新的動態工作流程工具
Anthropic 於週四正式推出 Opus 4.8,這是其旗艦級公開模型的最新版本。此版本定價與前一版本相同,現已於所有平台上線。距離 Opus 4.7 發布僅隔 41 天,Anthropic 顯著加快了開發週期,遠快於近期 Sonnet 和 Haiku 版本所見的三個月及七個月間隔。此次快速更新很可能是為了回應 Opus 4.7 所獲得的冷淡反響,該版本曾讓許多使用者感到失望。與此同時,Ope
OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr





首頁






