首页企业人工智能成本：克劳德模型的部署价格比 GPT 高 20-30
众所周知，不同的模型系列可能采用不同的标记化器。然而，对这些系统之间实际标记化过程有何不同的研究却很有限。对于相同的输入文本，所有标记化器产生的标记数是否相同？如果不是，这些差异有多大？它们有什么实际意义？
本文通过研究标记化差异在现实世界中的影响来探讨这些问题。我们对两个主要模型系列进行了比较分析：OpenAI 的 ChatGPT 与 Anthropic 的 Claude。虽然它们宣传的 "每令牌成本 "似乎极具竞争力，但我们的测试表明，Anthropic 模型的实际成本可能比 GPT 模型高出 20-30%。
API 定价--克劳德 3.5 奏鸣曲与 GPT-4o 的对比
截至 2024 年 6 月，这两种先进前沿模型的定价结构非常接近。Anthropic 的 Claude 3.5 Sonnet 和 OpenAI 的 GPT-4o 在输出代币方面的成本保持一致，而 Claude 3.5 Sonnet 在输入代币方面提供 40% 的折扣。
资料来源：Vantage来源：Vantage
隐藏的代币化低效率
尽管 Anthropic 的输入令牌率较低，但我们使用固定提示集进行的实验表明，GPT-4o 始终比 Claude Sonnet-3.5 提供更经济的总体成本。
是什么原因造成了这种差异？
与 OpenAI 的方法相比，Anthropic 的标记器通常会将相同的输入文本分割成更多标记。这意味着，对于相同的提示，Anthropic 模型生成的标记数要明显高于 OpenAI 模型。因此，虽然 Claude 3.5 Sonnet 的每个标记输入成本看起来较低，但增加的标记化数量往往抵消了这些节省，导致实际实施的总成本较高。
这种隐性成本来自 Anthropic 的标记编码方法，它经常需要更多的标记来表示同等内容。令牌数量的膨胀大大影响了运营成本和上下文窗口的效率。
特定领域的标记化变化
Anthropic 的标记化器处理不同内容领域的效率各不相同，与 OpenAI 的模型相比，会产生不一致的标记数增长。人工智能研究界也记录了类似的标记化差异。我们在三个重要领域验证了我们的发现：英文文章、Python 代码和数学内容。
领域 模型输入 GPT 标记 克劳德代币 代币开销百分比 英文文章 
标记化差异的其他实际影响除了直接的成本考虑，令牌化器的低效率也会间接影响上下文窗口的利用率。虽然 Anthropic 模型宣传的上下文窗口为 200K 标记，而 OpenAI 为 128K，但标记化的冗余实际上可能会减少 Anthropic 模型的有效可用空间。这就造成了宣传的上下文窗口大小与其实际有效容量之间的潜在差异。
标记化实现细节
GPT 模型采用字节对编码 (BPE)，将经常出现的字符对组合成标记。最新的 GPT 模型特别采用了开源的 o200k_base 标记化器。GPT-4o 在 tiktoken 标记化器中使用的实际标记可公开访问。
JSON {#reasoning "o1-xxx"："o200k_base","o3-xxx":"o200k_base",# chat"chatgpt-4o-":"o200k_base","gpt-4o-xxx":"o200k_base",# e.g., gpt-4o-2024-05-13 "gpt-4-xxx"："CL100K_BASE"，# 例如，GPT-4-0314 等，加上 GPT-4-32K "GPT-3.5-TURBO-XXX"："cl100k_base",#例如，gpt-3.5-turbo-0301, -0401, etc.}
不幸的是，Anthropic 的令牌化方法仍然不太透明，因为他们的令牌化器不像 GPT 的那样容易获得。Anthropic 在 2024 年 12 月推出了令牌计数应用程序接口（Token Counting API），但这一功能在 2025 年以后的版本中停止使用。
根据 Latenode 的说法，"Anthropic 采用了独特的令牌器，只有 65000 种令牌变化，而 OpenAI 的 GPT-4 则有 100261 种变化"。一个公开可用的 Colab 笔记本包含 Python 代码，用于分析 GPT 和 Claude 模型之间的标记化差异。另一个与常见的、公开可用的标记化器接口的工具也证实了我们的发现。
对于人工智能企业来说，在不调用实际模型应用程序接口的情况下准确估算标记计数的能力对于成本预测和预算编制至关重要。
基本见解
- Anthropic 极具竞争力的定价包含隐藏费用：
虽然 Claude 3.5 Sonnet 的输入令牌成本比 GPT-4o 低 40%，但由于文本令牌化的根本差异，这一表面优势可能具有欺骗性。 - 隐藏的标记化低效率：
人类学模型本质上会产生更多的标记。对于处理大量文本的企业来说，了解这种差异对于准确评估部署成本至关重要。 - 特定领域的标记化性能：
在选择 OpenAI 和 Anthropic 模型时，请仔细评估您的典型输入内容。虽然自然语言任务可能显示出最小的成本差异，但技术或结构化领域使用 Anthropic 模型的成本可能要高得多。 - 有效的上下文窗口容量：
由于 Anthropic 的标记化冗长，其宣传的 200K 上下文窗口提供的实际可用空间可能小于 OpenAI 的 128K，从而可能造成宣称的上下文容量与实际容量之间的差距。
截至发稿时，Anthropic尚未回复VentureBeat的置评请求。如果他们做出回应，我们将更新本文。
相关文章
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三，一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉，修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系，并确保它能够实现双赢。只有这样，双方才能保持良好的合作伙伴关系。” 他强调，微软仍然可以使用OpenAI的知识产权，包括其模型和智能体产品，但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术，纳德拉表示：“
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际，OpenAI发布了一套政策建议，概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单，这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
格雷格·布罗克曼揭秘埃隆·马斯克如何离开OpenAI
2017年8月下旬，OpenAI（当时还是一家小型非营利研究实验室）的核心成员召开会议，商讨如何成立一家营利性实体，以实现技术的商业化，并筹集实现通用人工智能（AGI）所需的资金。埃隆·马斯克要求全面掌控公司，并刚刚向每位联合创始人赠送了一辆特斯拉Model 3。首席技术官格雷格·布罗克曼表示，他认为这是马斯克试图收买人心，当时马斯克和萨姆·阿尔特曼正就各自对公司未来愿景的支持展开角逐。 Open
相关专题推荐
图像编辑
用于短剧故事板的AI艺术生成工具：幻想与都市浪漫题材的角色设计
2026最新推荐：探索最适合用于短剧故事板制作的AI艺术生成工具。我们精心挑选了众多顶级工具，帮助您创作出引人入胜的幻想角色和都市浪漫角色。您可以对比免费与付费选项，查看实际测试结果，从而找到最适合自己的创意工具。XIX.AI还会每周更新排名并提供专家分析，让您立即开始将故事可视化呈现吧！
10 个工具
xix.ai
写作
最适合广播和播客使用的AI脚本编写工具：帮助您创作引人入胜的音频广告
在XIX.AI上，发现2026年最适合用于广播和播客制作的AI脚本工具。我们精心挑选的这些高评分工具能够提供强大的功能，帮助您快速制作出引人入胜的音频广告。通过实际测试和每周更新的排名，您可以了解免费选项与付费选项之间的差异。今天就释放您的创造力吧！
10 个工具
xix.ai
商业
最佳 AI 合同审查软件：即时发现法律漏洞与合规风险
在 XIX.AI 上探索 2026 年最佳 AI 合同审查软件。我们精心筛选的顶级榜单汇集了功能强大的工具，能够即时发现法律漏洞和合规风险。通过实际测试和每周更新的排名，对比免费与付费选项。找到能彻底改变游戏规则的解决方案，实现安全、高效的合同分析。立即探索这本权威指南。
10 个工具
xix.ai
动画创作
专为东华设计的AI动漫生成器：可用于创建网络小说角色及漫画头像
探索2026年最适合制作中文动画的人工智能工具。我们精心挑选的顶级列表中包含了各种强大的工具，能够帮助你创建出令人惊叹的网络小说角色和漫画头像。通过实际测试来对比免费选项和付费选项，找到最适合你的创作工具，今天就在XIX.AI上将你的故事变为现实吧。
10 个工具
xix.ai
漫画创作
漫画领域顶尖的AI自动上色工具：零一致性错误地应用平涂色彩
立即访问 XIX.AI，探索 2026 年最优秀的漫画 AI 自动上色工具。我们精心筛选的清单汇集了广受好评、颠覆行业的解决方案，这些工具能以零一致性错误的方式应用平涂色彩，从而大幅提升您的工作效率。通过免费版与付费版的对比分析、实际测试以及每周更新的排行榜，找到最适合您的工具。立即开启您的 AI 优势。
10 个工具
xix.ai
写作
顶尖 AI 角色设定生成器：生成一致的角色动机与致命缺陷
探索2026年最优秀的AI人物设定生成工具，助您塑造鲜活立体的角色。XIX.AI精心筛选的这份清单汇集了广受好评、颠覆传统的工具，能够生成具有内在逻辑的动机和致命缺陷。通过实际测试对比免费与付费选项。立即释放您的叙事潜能。
10 个工具
xix.ai
评论 (0)
0/500
众所周知，不同的模型系列可能采用不同的标记化器。然而，对这些系统之间实际标记化过程有何不同的研究却很有限。对于相同的输入文本，所有标记化器产生的标记数是否相同？如果不是，这些差异有多大？它们有什么实际意义？
本文通过研究标记化差异在现实世界中的影响来探讨这些问题。我们对两个主要模型系列进行了比较分析：OpenAI 的 ChatGPT 与 Anthropic 的 Claude。虽然它们宣传的 "每令牌成本 "似乎极具竞争力，但我们的测试表明，Anthropic 模型的实际成本可能比 GPT 模型高出 20-30%。
API 定价--克劳德 3.5 奏鸣曲与 GPT-4o 的对比
截至 2024 年 6 月，这两种先进前沿模型的定价结构非常接近。Anthropic 的 Claude 3.5 Sonnet 和 OpenAI 的 GPT-4o 在输出代币方面的成本保持一致，而 Claude 3.5 Sonnet 在输入代币方面提供 40% 的折扣。
资料来源：Vantage来源：Vantage
隐藏的代币化低效率
尽管 Anthropic 的输入令牌率较低，但我们使用固定提示集进行的实验表明，GPT-4o 始终比 Claude Sonnet-3.5 提供更经济的总体成本。
是什么原因造成了这种差异？
与 OpenAI 的方法相比，Anthropic 的标记器通常会将相同的输入文本分割成更多标记。这意味着，对于相同的提示，Anthropic 模型生成的标记数要明显高于 OpenAI 模型。因此，虽然 Claude 3.5 Sonnet 的每个标记输入成本看起来较低，但增加的标记化数量往往抵消了这些节省，导致实际实施的总成本较高。
这种隐性成本来自 Anthropic 的标记编码方法，它经常需要更多的标记来表示同等内容。令牌数量的膨胀大大影响了运营成本和上下文窗口的效率。
特定领域的标记化变化
Anthropic 的标记化器处理不同内容领域的效率各不相同，与 OpenAI 的模型相比，会产生不一致的标记数增长。人工智能研究界也记录了类似的标记化差异。我们在三个重要领域验证了我们的发现：英文文章、Python 代码和数学内容。
| 领域 | 模型输入 | GPT 标记 | 克劳德代币 | 代币开销百分比 |
| 英文文章 | 标记化差异的其他实际影响 除了直接的成本考虑，令牌化器的低效率也会间接影响上下文窗口的利用率。虽然 Anthropic 模型宣传的上下文窗口为 200K 标记，而 OpenAI 为 128K，但标记化的冗余实际上可能会减少 Anthropic 模型的有效可用空间。这就造成了宣传的上下文窗口大小与其实际有效容量之间的潜在差异。 标记化实现细节GPT 模型采用字节对编码 (BPE)，将经常出现的字符对组合成标记。最新的 GPT 模型特别采用了开源的 o200k_base 标记化器。GPT-4o 在 tiktoken 标记化器中使用的实际标记可公开访问。 不幸的是，Anthropic 的令牌化方法仍然不太透明，因为他们的令牌化器不像 GPT 的那样容易获得。Anthropic 在 2024 年 12 月推出了令牌计数应用程序接口（Token Counting API），但这一功能在 2025 年以后的版本中停止使用。 根据 Latenode 的说法，"Anthropic 采用了独特的令牌器，只有 65000 种令牌变化，而 OpenAI 的 GPT-4 则有 100261 种变化"。一个公开可用的 Colab 笔记本包含 Python 代码，用于分析 GPT 和 Claude 模型之间的标记化差异。另一个与常见的、公开可用的标记化器接口的工具也证实了我们的发现。 基本见解
截至发稿时，Anthropic尚未回复VentureBeat的置评请求。如果他们做出回应，我们将更新本文。 |
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三，一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉，修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系，并确保它能够实现双赢。只有这样，双方才能保持良好的合作伙伴关系。” 他强调，微软仍然可以使用OpenAI的知识产权，包括其模型和智能体产品，但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术，纳德拉表示：“
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际，OpenAI发布了一套政策建议，概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单，这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
格雷格·布罗克曼揭秘埃隆·马斯克如何离开OpenAI
2017年8月下旬，OpenAI（当时还是一家小型非营利研究实验室）的核心成员召开会议，商讨如何成立一家营利性实体，以实现技术的商业化，并筹集实现通用人工智能（AGI）所需的资金。埃隆·马斯克要求全面掌控公司，并刚刚向每位联合创始人赠送了一辆特斯拉Model 3。首席技术官格雷格·布罗克曼表示，他认为这是马斯克试图收买人心，当时马斯克和萨姆·阿尔特曼正就各自对公司未来愿景的支持展开角逐。 Open
2026最新推荐：探索最适合用于短剧故事板制作的AI艺术生成工具。我们精心挑选了众多顶级工具，帮助您创作出引人入胜的幻想角色和都市浪漫角色。您可以对比免费与付费选项，查看实际测试结果，从而找到最适合自己的创意工具。XIX.AI还会每周更新排名并提供专家分析，让您立即开始将故事可视化呈现吧！
10 个工具
xix.ai
在XIX.AI上，发现2026年最适合用于广播和播客制作的AI脚本工具。我们精心挑选的这些高评分工具能够提供强大的功能，帮助您快速制作出引人入胜的音频广告。通过实际测试和每周更新的排名，您可以了解免费选项与付费选项之间的差异。今天就释放您的创造力吧！
10 个工具
xix.ai
在 XIX.AI 上探索 2026 年最佳 AI 合同审查软件。我们精心筛选的顶级榜单汇集了功能强大的工具，能够即时发现法律漏洞和合规风险。通过实际测试和每周更新的排名，对比免费与付费选项。找到能彻底改变游戏规则的解决方案，实现安全、高效的合同分析。立即探索这本权威指南。
10 个工具
xix.ai
探索2026年最适合制作中文动画的人工智能工具。我们精心挑选的顶级列表中包含了各种强大的工具，能够帮助你创建出令人惊叹的网络小说角色和漫画头像。通过实际测试来对比免费选项和付费选项，找到最适合你的创作工具，今天就在XIX.AI上将你的故事变为现实吧。
10 个工具
xix.ai
立即访问 XIX.AI，探索 2026 年最优秀的漫画 AI 自动上色工具。我们精心筛选的清单汇集了广受好评、颠覆行业的解决方案，这些工具能以零一致性错误的方式应用平涂色彩，从而大幅提升您的工作效率。通过免费版与付费版的对比分析、实际测试以及每周更新的排行榜，找到最适合您的工具。立即开启您的 AI 优势。
10 个工具
xix.ai
探索2026年最优秀的AI人物设定生成工具，助您塑造鲜活立体的角色。XIX.AI精心筛选的这份清单汇集了广受好评、颠覆传统的工具，能够生成具有内在逻辑的动机和致命缺陷。通过实际测试对比免费与付费选项。立即释放您的叙事潜能。
10 个工具
xix.ai
