AMD 推出 vLLM-ATOM 插件,以加速大型模型推理

近日,AMD正式发布了一款名为vLLM-ATOM的新插件。其核心目标是在不改变现有工作流的前提下释放更多硬件潜能,从而为DeepSeek-R1、Kimi-K2和gpt-oss-120B等主流大型语言模型带来显著的推理加速效果。
对于开发者而言,vLLM是一个开源框架,旨在优化高并发环境下的吞吐量和 GPU 内存使用效率。与传统的单请求工具不同,它专注于请求调度和缓存管理。 AMD 的新 ATOM 插件是一款专为Instinct GPU 深度定制的解决方案。其突出特点是“无缝迁移”:企业用户无需修改现有的 API 接口、命令或端到端工作流;该插件会在后台自动处理底层性能优化。
从技术架构角度来看,vLLM-ATOM 采用了精确的三层设计。最上层保留了 vLLM 的请求调度和兼容性接口。中间层即 ATOM 插件,负责模型实现和内核优化。 底层AITER 直接连接至 GPU 硬件,提供 Flash Attention、量化 GEMM 和融合 MoE 等核心加速能力。
该插件主要面向Instinct MI350、MI400 和 MI355X 等高性能 GPU 计算卡。 其支持列表涵盖 Qwen3、GLM 和 DeepSeek 等旗舰模型,并全面覆盖多种架构,包括 MoE(专家混合模型)、稠密模型和视觉语言模型(VLM)。
行业分析师指出,该解决方案的核心价值在于大幅降低了高性能计算的部署门槛。通过这种零学习曲线、无缝迁移的方式,企业可以更轻松地将AI服务迁移到AMD硬件后端,在保持推理效率的同时,有效提升大模型在线服务的稳定性和响应速度。
相关文章
xAI 发布早期 Grok Beta 版本,用于复杂编程任务
5月14日,埃隆·马斯克的人工智能初创公司 xAI 推出了名为 Grok Build 的代码助手早期测试版。目前该平台仅限 SuperGrok 订阅用户使用,旨在简化软件工程流程并处理复杂的编程工作流。与标准的代码补全工具不同,Grok Build 优先采用“先规划后执行”的方法论,以解决大型项目中固有的逻辑编排难题。主要功能与技术规格规划模式: 对于复杂的任务,用户可以指示代理起草全面的执行策略。开发人员可以审查、调整特定步骤或重写整个计划。代理仅在用户批准后执行,并以差异(Diff)格式显示
Anthropic首席执行官概述了开拓前沿的计划
人工智能研究人员就人工智能风险发出了日益紧迫的警告,OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)表示,现在或许是时候“放缓”发展步伐了。但这实际上意味着什么呢?在最近的一篇博客文章中,Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)不仅支持“放缓前沿发展”的呼吁,还为此提出了三项广泛的策略。他表示,Anthropic正在“单方面承诺”采取其中一种方法。本周,随
距离 TechCrunch Disrupt 2026 还有 48 小时:聆听塑造未来的创新者分享见解
距离开幕不足 48 小时,TechCrunch Disrupt 2026 将在旧金山莫斯康西馆(Moscone West)拉开帷幕。在门票价格上调前,立即预订您的门票,最高可享 100 美元优惠。此外,还可半价获取第二张通行证。立即注册。10 月 13 日至 15 日,超过 10,000 名创始人、投资者和科技领袖将齐聚一堂,建立重塑他们职业道路的联系。超过 250 位演讲者将在 200 多场会议中发表演讲。探索 300 多家初创企业展示的未来。在 10 月 13 日上午 8 点(太平洋时间)门
相关专题推荐
评论 (1)
0/500

近日,AMD正式发布了一款名为vLLM-ATOM的新插件。其核心目标是在不改变现有工作流的前提下释放更多硬件潜能,从而为DeepSeek-R1、Kimi-K2和gpt-oss-120B等主流大型语言模型带来显著的推理加速效果。
对于开发者而言,vLLM是一个开源框架,旨在优化高并发环境下的吞吐量和 GPU 内存使用效率。与传统的单请求工具不同,它专注于请求调度和缓存管理。 AMD 的新 ATOM 插件是一款专为Instinct GPU 深度定制的解决方案。其突出特点是“无缝迁移”:企业用户无需修改现有的 API 接口、命令或端到端工作流;该插件会在后台自动处理底层性能优化。
从技术架构角度来看,vLLM-ATOM 采用了精确的三层设计。最上层保留了 vLLM 的请求调度和兼容性接口。中间层即 ATOM 插件,负责模型实现和内核优化。 底层AITER 直接连接至 GPU 硬件,提供 Flash Attention、量化 GEMM 和融合 MoE 等核心加速能力。
该插件主要面向Instinct MI350、MI400 和 MI355X 等高性能 GPU 计算卡。 其支持列表涵盖 Qwen3、GLM 和 DeepSeek 等旗舰模型,并全面覆盖多种架构,包括 MoE(专家混合模型)、稠密模型和视觉语言模型(VLM)。
行业分析师指出,该解决方案的核心价值在于大幅降低了高性能计算的部署门槛。通过这种零学习曲线、无缝迁移的方式,企业可以更轻松地将AI服务迁移到AMD硬件后端,在保持推理效率的同时,有效提升大模型在线服务的稳定性和响应速度。
xAI 发布早期 Grok Beta 版本,用于复杂编程任务
5月14日,埃隆·马斯克的人工智能初创公司 xAI 推出了名为 Grok Build 的代码助手早期测试版。目前该平台仅限 SuperGrok 订阅用户使用,旨在简化软件工程流程并处理复杂的编程工作流。与标准的代码补全工具不同,Grok Build 优先采用“先规划后执行”的方法论,以解决大型项目中固有的逻辑编排难题。主要功能与技术规格规划模式: 对于复杂的任务,用户可以指示代理起草全面的执行策略。开发人员可以审查、调整特定步骤或重写整个计划。代理仅在用户批准后执行,并以差异(Diff)格式显示
Anthropic首席执行官概述了开拓前沿的计划
人工智能研究人员就人工智能风险发出了日益紧迫的警告,OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)表示,现在或许是时候“放缓”发展步伐了。但这实际上意味着什么呢?在最近的一篇博客文章中,Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)不仅支持“放缓前沿发展”的呼吁,还为此提出了三项广泛的策略。他表示,Anthropic正在“单方面承诺”采取其中一种方法。本周,随
距离 TechCrunch Disrupt 2026 还有 48 小时:聆听塑造未来的创新者分享见解
距离开幕不足 48 小时,TechCrunch Disrupt 2026 将在旧金山莫斯康西馆(Moscone West)拉开帷幕。在门票价格上调前,立即预订您的门票,最高可享 100 美元优惠。此外,还可半价获取第二张通行证。立即注册。10 月 13 日至 15 日,超过 10,000 名创始人、投资者和科技领袖将齐聚一堂,建立重塑他们职业道路的联系。超过 250 位演讲者将在 200 多场会议中发表演讲。探索 300 多家初创企业展示的未来。在 10 月 13 日上午 8 点(太平洋时间)门





首页






