中国将“Token”的官方名称定为“词单元”
中国政府网站近日转载了《人民日报》的一篇文章,文中援引国家数据局的说法,正式将大型模型的基本单位“Token”在正式场合定名为“词元”。 报道显示,中国人工智能行业中“词元”的日均使用量现已超过140万亿。这一权威性命名不仅终结了学术界和业界关于“Token”中文译法的长期争论,也标志着大型模型技术术语在国家层面的标准化工作又迈出了重要一步。

此前,业界对“Token”的称谓存在多种说法。腾讯研究院学者杨斌曾提出“模型元”,引发广泛讨论。 随后,百川智能创始人王晓川、伦辰科技创始人尤阳及清华大学前副教授胡一林提出的“智能元”一词,在社交媒体上引发广泛关注。该术语突出了Token作为“通用智能”而非单纯“通用计算”的单元这一角色。
然而,政府选定的“词元”一词则更侧重于其底层的技术逻辑。官方解释称,词元是人工智能理解人类语言的最小单位,其切分粒度介于字符与单词之间。这使得在大模型处理文本时,能够更精确地覆盖语义切片。 随着使用量逼近140万亿这一历史性里程碑,统一的术语标准将有助于降低全行业的沟通成本,并为未来人工智能基础设施相关的统计量化及政策制定奠定坚实基础。
相关文章
内部细节曝光:下一代 Gemini 算力紧张,内部团队在开发优先级和资源分配上存在分歧
报告显示,谷歌备受期待的下一代 Gemini 模型发布已被推迟。由于内部在开发优先级和资源分配上存在分歧,加上计算能力有限以及复杂的审批流程,导致发布时间延后了两个月。尽管谷歌拥有定制的 TPU 芯片,但由于模型训练、Google Cloud 服务以及众多消费和企业级 AI 应用对计算资源的需求相互竞争,谷歌仍面临计算资源短缺的问题。目前,高层管理人员正通过组织结构调整来解决这些部门间的冲突。与此同时,领导层也发生了变化,联合创始人谢尔盖·布林越来越多地参与到核心模型训练中,并倡导将资源专门用于
OpenAI 否认增长放缓担忧,称多个业务部门加速发展
针对外界对其销售增长放缓及未达内部基准的质疑,人工智能领域的领军企业 OpenAI 于 4 月 28 日(星期二)发表了一份信心十足的声明。该公司澄清称,其消费产品和企业服务正在快速推进,直接驳斥了近期关于业务放缓的猜测。针对该公司“未达成多项内部目标”的说法,OpenAI 将这些报道斥为“典型的标题党”。公司强调了企业对 AI 集成的强劲需求,并指出其广告业务早期增长前景良好。据 OpenAI 内部人士透露,公司内部情绪依然乐观。尽管市场竞争日益激烈,但公司正在向投资者传递信心,声称其商业
阿里巴巴超级杯:Qwen3.8-Max 重磅登场,代码与办公工具能力全面升级
阿里巴巴正式发布了Qwen3.8-Max,这是一款拥有2.4万亿参数的下一代基础大模型。这一重大AI进展在编码和专业办公任务等核心领域带来了显著的性能提升,展现了强大的技术能力。在权威的Arena大模型排名中,Qwen3.8-Max取得了令人瞩目的成绩,仅次于Anthropic的Claude系列,位居行业前列。这一里程碑标志着国内大模型在处理复杂任务方面取得了快速进展,为开发者和企业用户提供了先进的智能工具。该模型的API现已在Qwen AI平台上上线,并集成到新推出的“Qwen Offic
相关专题推荐
评论 (1)
0/500
中国政府网站近日转载了《人民日报》的一篇文章,文中援引国家数据局的说法,正式将大型模型的基本单位“Token”在正式场合定名为“词元”。 报道显示,中国人工智能行业中“词元”的日均使用量现已超过140万亿。这一权威性命名不仅终结了学术界和业界关于“Token”中文译法的长期争论,也标志着大型模型技术术语在国家层面的标准化工作又迈出了重要一步。

此前,业界对“Token”的称谓存在多种说法。腾讯研究院学者杨斌曾提出“模型元”,引发广泛讨论。 随后,百川智能创始人王晓川、伦辰科技创始人尤阳及清华大学前副教授胡一林提出的“智能元”一词,在社交媒体上引发广泛关注。该术语突出了Token作为“通用智能”而非单纯“通用计算”的单元这一角色。
然而,政府选定的“词元”一词则更侧重于其底层的技术逻辑。官方解释称,词元是人工智能理解人类语言的最小单位,其切分粒度介于字符与单词之间。这使得在大模型处理文本时,能够更精确地覆盖语义切片。 随着使用量逼近140万亿这一历史性里程碑,统一的术语标准将有助于降低全行业的沟通成本,并为未来人工智能基础设施相关的统计量化及政策制定奠定坚实基础。
内部细节曝光:下一代 Gemini 算力紧张,内部团队在开发优先级和资源分配上存在分歧
报告显示,谷歌备受期待的下一代 Gemini 模型发布已被推迟。由于内部在开发优先级和资源分配上存在分歧,加上计算能力有限以及复杂的审批流程,导致发布时间延后了两个月。尽管谷歌拥有定制的 TPU 芯片,但由于模型训练、Google Cloud 服务以及众多消费和企业级 AI 应用对计算资源的需求相互竞争,谷歌仍面临计算资源短缺的问题。目前,高层管理人员正通过组织结构调整来解决这些部门间的冲突。与此同时,领导层也发生了变化,联合创始人谢尔盖·布林越来越多地参与到核心模型训练中,并倡导将资源专门用于
OpenAI 否认增长放缓担忧,称多个业务部门加速发展
针对外界对其销售增长放缓及未达内部基准的质疑,人工智能领域的领军企业 OpenAI 于 4 月 28 日(星期二)发表了一份信心十足的声明。该公司澄清称,其消费产品和企业服务正在快速推进,直接驳斥了近期关于业务放缓的猜测。针对该公司“未达成多项内部目标”的说法,OpenAI 将这些报道斥为“典型的标题党”。公司强调了企业对 AI 集成的强劲需求,并指出其广告业务早期增长前景良好。据 OpenAI 内部人士透露,公司内部情绪依然乐观。尽管市场竞争日益激烈,但公司正在向投资者传递信心,声称其商业
阿里巴巴超级杯:Qwen3.8-Max 重磅登场,代码与办公工具能力全面升级
阿里巴巴正式发布了Qwen3.8-Max,这是一款拥有2.4万亿参数的下一代基础大模型。这一重大AI进展在编码和专业办公任务等核心领域带来了显著的性能提升,展现了强大的技术能力。在权威的Arena大模型排名中,Qwen3.8-Max取得了令人瞩目的成绩,仅次于Anthropic的Claude系列,位居行业前列。这一里程碑标志着国内大模型在处理复杂任务方面取得了快速进展,为开发者和企业用户提供了先进的智能工具。该模型的API现已在Qwen AI平台上上线,并集成到新推出的“Qwen Offic





首页






