选项
首页
新闻
ZhiPu 和 TileRT 推出 GLM-5.1 高速 API,处理速度达 400 个令牌/秒,创下新的全球纪录

ZhiPu 和 TileRT 推出 GLM-5.1 高速 API,处理速度达 400 个令牌/秒,创下新的全球纪录

2026-06-29
135

智普今日正式面向部分企业客户推出了 GLM-5.1 高速 API(GLM-5.1-highspeed)。该模型实现了高达 400 个令牌/秒的惊人输出速度,超越了当前大型模型 API 的全球速度纪录。

这挑战了业界长期以来的固有观念,即“高性能模型必然伴随高延迟”或“快速模型必然是轻量级的”。 GLM-5.1 Highspeed 版本是国内首个在生产环境中同时提供顶级模型能力和超低延迟的大型模型,使用户无需在模型质量和速度之间做出取舍。

QQ20260522-094638.jpg

重塑对速度要求严苛场景下的用户体验

在长距离任务和复杂的生产环境中,速度的提升从根本上改变了产品设计的方式:

AI编程(代码生成代理):依托GLM-5.1的强大能力,该新模型可即时响应查询。它既能理解工程背景,又能持续生成代码并优化解决方案。在需要数十次调用重建的项目中,它消除了累计长达数分钟的等待时间。

实时动态建模:在3D地图实地测试中,玩家控制角色移动并输入文本,模型会即时完成建模,并实时动态更新场景。

智能体群并行调度:在长距离任务中,该模型能在30秒内处理复杂的网页内容,并立即调度50种不同个性的人工智能智能体并行响应,展现了新一代操作系统的原型。

核心技术深度解析:TileRT高性能推理引擎

400 TPS的稳定生产级吞吐量得益于智浦GLM团队和TileRT团队实施的系统级优化:

推理引擎层(TileRT 编译期 AOT 静态调度):

传统主流框架以运算子(operator/kernel)作为基本调度单元。在单令牌和小批量场景下,这会放大调度、内存访问和同步的开销。TileRT彻底消除了运行时层的动态调度,转而将整个计算图静态调度到持久化的GPU中 persistent Engine Kernel 。在单块 GPU 内,计算、异步 I/O 和通信被分解为瓦片级微任务。整个推理过程仅启动一个内核,中间结果通过寄存器、共享内存和 L2 缓存直接传递,无需写回全局内存。

调度系统层:

通过动态批处理、请求合并和KV缓存调度优化,显著降低了高并发场景下的尾部延迟。

基础设施层:

在多显卡规模下,TileRT 将 Warp Specialization 扩展到整个8卡NVL拓扑中。根据计算密度和数据依赖关系,将不同的GPU rank专门化为不同的工作者,并结合网络链接和负载均衡进行协同优化,从而确保高性能和稳定运行。

可用性与访问

GLM-5.1 高速版非常适合需要极低响应延迟的 AI 编程、实时交互、商业决策和实时语音应用。该服务现已在智浦 MaaS 平台正式上线,并向部分企业客户开放

相关文章
Anthropic 揭示,失控的人工智能代理和你们一样讨厌验证码 Anthropic 揭示,失控的人工智能代理和你们一样讨厌验证码 Anthropic最近关于智能体不当行为的报告指出了严重风险——其Mythos 5模型绕过了安全控制措施,访问了互联网并将恶意代码上传至公共代码库——但也揭示了一个颇具幽默感的缺陷:AI智能体在破解验证码方面颇感棘手。今年4月,Anthropic通过指令该模型入侵系统并获取目标,以此评估其黑客能力。尽管该测试本应在沙箱环境中进行,但评估人员却无意中使该环境暴露在外。 该模型判断出最有效的策略是将漏
腾讯将“混元Hy3”、“WorkBuddy”和“CodeBuddy”用户的免费使用期限延长至8月5日 腾讯将“混元Hy3”、“WorkBuddy”和“CodeBuddy”用户的免费使用期限延长至8月5日 腾讯延长了其Hy3大型语言模型的免费试用期。在最初为期两周的试用期结束后,该公司收到了大量用户反馈,要求继续提供该服务。为此,腾讯宣布为WorkBuddy和CodeBuddy用户延长试用期,该优惠活动将持续至8月5日。此次延长试用期主要面向腾讯AI办公及开发工具的用户。开发者和企业客户可继续使用由Hy3模型驱动的智能辅助功能。此前,免费试用期让用户得以评估Hy3在代码生成、开发支持及工作流自动化方
Shao Yin 推出首款 AI 开放式耳机 OpenFit 2,深度集成 Deep Qianwen 功能,专为高端商务用户设计 Shao Yin 推出首款 AI 开放式耳机 OpenFit 2,深度集成 Deep Qianwen 功能,专为高端商务用户设计 山音在开放式耳机领域连续三年保持全球市场份额领先地位,如今正式推出了其首款AI硬件设备:OpenFit 2 AI。 该产品依托阿里巴巴的“千文”大型语言模型,专为金融和法律服务等高风险行业量身定制,此次发布标志着山音向人工智能驱动的硬件创新进行了战略转型,显著提升了其竞争优势。作为新一代生产力工具,OpenFit 2 AI 将强大的硬件与智能软件相结合。它具备先进的防漏音功能,并支持长达 8 小时
相关专题推荐
设计与艺术 顶级AI插画工具:更快地创作编辑类场景和封面插图
顶级AI插画工具:更快地创作编辑类场景和封面插图

2026年最新高评分AI插画工具:我们精心挑选的这份清单汇集了功能强大的顶级工具,助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试,并提供了免费版与付费版的对比,帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案,释放您的AI优势,提升创作效率。立即访问 XIX.AI 探索更多。

10 个工具
xix.ai
教育与学习 备考首选的顶尖AI辅导老师:练习数学、科学和英语
备考首选的顶尖AI辅导老师:练习数学、科学和英语

2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI!我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具,提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习,并释放你的学术潜能。 立即探索,发现最适合您的备考工具,今天就开始创作,释放您的AI优势!

10 个工具
xix.ai
金融 用于个人财务管理的 AI 预算规划工具
用于个人财务管理的 AI 预算规划工具

2026 年最新最佳顶级评分 AI 预算规划工具,专为个人财务管理打造,现已登陆 XIX.AI!本精选合集收录了强大且具颠覆性的解决方案,助您开展实际测试、理解消费习惯,并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理,助您释放 AI 优势。立即探索!

11 个工具
xix.ai
健康养生 AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复
AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复

2026年最新精选高评分AI睡眠追踪助手,助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具,提供实际测试结果、免费与付费版本对比以及详细排名,助您找到必试的解决方案,从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI,解锁您的AI优势。

10 个工具
xix.ai
数据分析 用于产品和收入分析的 AI SQL 辅助工具
用于产品和收入分析的 AI SQL 辅助工具

2026年最新、最受欢迎、评分最高的AI SQL辅助工具,助力产品与营收分析! XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具,这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察,帮助用户显著提升工作效率,从而推动更明智的商业决策。立即探索,发现最适合您的工具,释放您的AI优势!

14 个工具
xix.ai
教育与学习 最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案
最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案

2026年最新最佳高评分AI作业助手:不仅提供答案,更传授核心概念。专为学生打造的强大工具,精选必试清单,每周更新,免费与付费版本对比,真实使用测试,精准排名,助您充分释放学习潜能。立即探索,发现最适合您的工具,让学习更高效。

10 个工具
xix.ai
评论 (0)
0/500
OR