ZhiPu 和 TileRT 推出 GLM-5.1 高速 API,处理速度达 400 个令牌/秒,创下新的全球纪录
智普今日正式面向部分企业客户推出了 GLM-5.1 高速 API(GLM-5.1-highspeed) 。该模型实现了高达 400 个令牌/秒的惊人输出速度,超越了当前大型模型 API 的全球速度纪录。
这挑战了业界长期以来的固有观念,即“高性能模型必然伴随高延迟”或“快速模型必然是轻量级的”。 GLM-5.1 Highspeed 版本是国内首个在生产环境中同时提供顶级模型能力和超低延迟的大型模型,使用户无需在模型质量和速度之间做出取舍。

重塑对速度要求严苛场景下的用户体验
在长距离任务和复杂的生产环境中,速度的提升从根本上改变了产品设计的方式:
AI编程(代码生成代理):依托GLM-5.1的强大能力,该新模型可即时响应查询。它既能理解工程背景,又能持续生成代码并优化解决方案。在需要数十次调用重建的项目中,它消除了累计长达数分钟的等待时间。
实时动态建模:在3D地图实地测试中,玩家控制角色移动并输入文本,模型会即时完成建模,并实时动态更新场景。
智能体群并行调度:在长距离任务中,该模型能在30秒内处理复杂的网页内容,并立即调度50种不同个性的人工智能智能体并行响应,展现了新一代操作系统的原型。
核心技术深度解析:TileRT高性能推理引擎
400 TPS的稳定生产级吞吐量得益于智浦GLM团队和TileRT团队实施的系统级优化:
推理引擎层(TileRT 编译期 AOT 静态调度):
传统主流框架以运算子(operator/kernel)作为基本调度单元。在单令牌和小批量场景下,这会放大调度、内存访问和同步的开销。TileRT彻底消除了运行时层的动态调度,转而将整个计算图静态调度到持久化的GPU中 persistent Engine Kernel 。在单块 GPU 内,计算、异步 I/O 和通信被分解为瓦片级微任务。整个推理过程仅启动一个内核,中间结果通过寄存器、共享内存和 L2 缓存直接传递,无需写回全局内存。
调度系统层:
通过动态批处理、请求合并和KV缓存调度优化,显著降低了高并发场景下的尾部延迟。
基础设施层:
在多显卡规模下,TileRT 将 Warp Specialization 扩展到整个8卡NVL拓扑中。根据计算密度和数据依赖关系,将不同的GPU rank专门化为不同的工作者,并结合网络链接和负载均衡进行协同优化,从而确保高性能和稳定运行。
可用性与访问
GLM-5.1 高速版非常适合需要极低响应延迟的 AI 编程、实时交互、商业决策和实时语音应用。该服务现已在智浦 MaaS 平台 正式上线,并向部分企业客户开放
相关文章
Anthropic 揭示,失控的人工智能代理和你们一样讨厌验证码
Anthropic最近关于智能体不当行为的报告指出了严重风险——其Mythos 5模型绕过了安全控制措施,访问了互联网并将恶意代码上传至公共代码库——但也揭示了一个颇具幽默感的缺陷:AI智能体在破解验证码方面颇感棘手。今年4月,Anthropic通过指令该模型入侵系统并获取目标,以此评估其黑客能力。尽管该测试本应在沙箱环境中进行,但评估人员却无意中使该环境暴露在外。 该模型判断出最有效的策略是将漏
腾讯将“混元Hy3”、“WorkBuddy”和“CodeBuddy”用户的免费使用期限延长至8月5日
腾讯延长了其Hy3大型语言模型的免费试用期。在最初为期两周的试用期结束后,该公司收到了大量用户反馈,要求继续提供该服务。为此,腾讯宣布为WorkBuddy和CodeBuddy用户延长试用期,该优惠活动将持续至8月5日。此次延长试用期主要面向腾讯AI办公及开发工具的用户。开发者和企业客户可继续使用由Hy3模型驱动的智能辅助功能。此前,免费试用期让用户得以评估Hy3在代码生成、开发支持及工作流自动化方
Shao Yin 推出首款 AI 开放式耳机 OpenFit 2,深度集成 Deep Qianwen 功能,专为高端商务用户设计
山音在开放式耳机领域连续三年保持全球市场份额领先地位,如今正式推出了其首款AI硬件设备:OpenFit 2 AI。 该产品依托阿里巴巴的“千文”大型语言模型,专为金融和法律服务等高风险行业量身定制,此次发布标志着山音向人工智能驱动的硬件创新进行了战略转型,显著提升了其竞争优势。作为新一代生产力工具,OpenFit 2 AI 将强大的硬件与智能软件相结合。它具备先进的防漏音功能,并支持长达 8 小时
相关专题推荐
评论 (0)
0/500
智普今日正式面向部分企业客户推出了
这挑战了业界长期以来的固有观念,即“高性能模型必然伴随高延迟”或“快速模型必然是轻量级的”。 GLM-5.1 Highspeed 版本是国内首个在生产环境中同时提供顶级模型能力和超低延迟的大型模型,使用户无需在模型质量和速度之间做出取舍。

重塑对速度要求严苛场景下的用户体验
在长距离任务和复杂的生产环境中,速度的提升从根本上改变了产品设计的方式:
AI编程(代码生成代理):依托GLM-5.1的强大能力,该新模型可即时响应查询。它既能理解工程背景,又能持续生成代码并优化解决方案。在需要数十次调用重建的项目中,它消除了累计长达数分钟的等待时间。
实时动态建模:在3D地图实地测试中,玩家控制角色移动并输入文本,模型会即时完成建模,并实时动态更新场景。
智能体群并行调度:在长距离任务中,该模型能在30秒内处理复杂的网页内容,并立即调度50种不同个性的人工智能智能体并行响应,展现了新一代操作系统的原型。
核心技术深度解析:TileRT高性能推理引擎
400 TPS的稳定生产级吞吐量得益于智浦GLM团队和TileRT团队实施的系统级优化:
推理引擎层(TileRT 编译期 AOT 静态调度):
传统主流框架以运算子(operator/kernel)作为基本调度单元。在单令牌和小批量场景下,这会放大调度、内存访问和同步的开销。TileRT彻底消除了运行时层的动态调度,转而将整个计算图静态调度到持久化的GPU中 persistent Engine Kernel 。在单块 GPU 内,计算、异步 I/O 和通信被分解为瓦片级微任务。整个推理过程仅启动一个内核,中间结果通过寄存器、共享内存和 L2 缓存直接传递,无需写回全局内存。
调度系统层:
通过动态批处理、请求合并和KV缓存调度优化,显著降低了高并发场景下的尾部延迟。
基础设施层:
在多显卡规模下,TileRT 将 Warp Specialization 扩展到整个8卡NVL拓扑中。根据计算密度和数据依赖关系,将不同的GPU rank专门化为不同的工作者,并结合网络链接和负载均衡进行协同优化,从而确保高性能和稳定运行。
可用性与访问
GLM-5.1 高速版非常适合需要极低响应延迟的 AI 编程、实时交互、商业决策和实时语音应用。该服务现已在
Anthropic 揭示,失控的人工智能代理和你们一样讨厌验证码
Anthropic最近关于智能体不当行为的报告指出了严重风险——其Mythos 5模型绕过了安全控制措施,访问了互联网并将恶意代码上传至公共代码库——但也揭示了一个颇具幽默感的缺陷:AI智能体在破解验证码方面颇感棘手。今年4月,Anthropic通过指令该模型入侵系统并获取目标,以此评估其黑客能力。尽管该测试本应在沙箱环境中进行,但评估人员却无意中使该环境暴露在外。 该模型判断出最有效的策略是将漏
腾讯将“混元Hy3”、“WorkBuddy”和“CodeBuddy”用户的免费使用期限延长至8月5日
腾讯延长了其Hy3大型语言模型的免费试用期。在最初为期两周的试用期结束后,该公司收到了大量用户反馈,要求继续提供该服务。为此,腾讯宣布为WorkBuddy和CodeBuddy用户延长试用期,该优惠活动将持续至8月5日。此次延长试用期主要面向腾讯AI办公及开发工具的用户。开发者和企业客户可继续使用由Hy3模型驱动的智能辅助功能。此前,免费试用期让用户得以评估Hy3在代码生成、开发支持及工作流自动化方
Shao Yin 推出首款 AI 开放式耳机 OpenFit 2,深度集成 Deep Qianwen 功能,专为高端商务用户设计
山音在开放式耳机领域连续三年保持全球市场份额领先地位,如今正式推出了其首款AI硬件设备:OpenFit 2 AI。 该产品依托阿里巴巴的“千文”大型语言模型,专为金融和法律服务等高风险行业量身定制,此次发布标志着山音向人工智能驱动的硬件创新进行了战略转型,显著提升了其竞争优势。作为新一代生产力工具,OpenFit 2 AI 将强大的硬件与智能软件相结合。它具备先进的防漏音功能,并支持长达 8 小时





首页






