选项
首页
新闻
AMD 推出 vLLM-ATOM 插件,以加速大型模型推理

AMD 推出 vLLM-ATOM 插件,以加速大型模型推理

2026-07-24
120

AMD 推出 vLLM-ATOM 插件,以加速大型模型推理

近日,AMD正式发布了一款名为vLLM-ATOM的新插件。其核心目标是在不改变现有工作流的前提下释放更多硬件潜能,从而为DeepSeek-R1、Kimi-K2和gpt-oss-120B等主流大型语言模型带来显著的推理加速效果。

对于开发者而言,vLLM是一个开源框架,旨在优化高并发环境下的吞吐量和 GPU 内存使用效率。与传统的单请求工具不同,它专注于请求调度和缓存管理。 AMD 的新 ATOM 插件是一款专为Instinct GPU 深度定制的解决方案。其突出特点是“无缝迁移”:企业用户无需修改现有的 API 接口、命令或端到端工作流;该插件会在后台自动处理底层性能优化。

从技术架构角度来看,vLLM-ATOM 采用了精确的三层设计。最上层保留了 vLLM 的请求调度和兼容性接口。中间层即 ATOM 插件,负责模型实现和内核优化。 底层AITER 直接连接至 GPU 硬件,提供 Flash Attention、量化 GEMM 和融合 MoE 等核心加速能力。

该插件主要面向Instinct MI350、MI400 和 MI355X 等高性能 GPU 计算卡。 其支持列表涵盖 Qwen3、GLM 和 DeepSeek 等旗舰模型,并全面覆盖多种架构,包括 MoE(专家混合模型)、稠密模型和视觉语言模型(VLM)。

行业分析师指出,该解决方案的核心价值在于大幅降低了高性能计算的部署门槛。通过这种零学习曲线、无缝迁移的方式,企业可以更轻松地将AI服务迁移到AMD硬件后端,在保持推理效率的同时,有效提升大模型在线服务的稳定性和响应速度。

相关文章
xAI 发布早期 Grok Beta 版本,用于复杂编程任务 xAI 发布早期 Grok Beta 版本,用于复杂编程任务 5月14日,埃隆·马斯克的人工智能初创公司 xAI 推出了名为 Grok Build 的代码助手早期测试版。目前该平台仅限 SuperGrok 订阅用户使用,旨在简化软件工程流程并处理复杂的编程工作流。与标准的代码补全工具不同,Grok Build 优先采用“先规划后执行”的方法论,以解决大型项目中固有的逻辑编排难题。主要功能与技术规格规划模式: 对于复杂的任务,用户可以指示代理起草全面的执行策略。开发人员可以审查、调整特定步骤或重写整个计划。代理仅在用户批准后执行,并以差异(Diff)格式显示
Anthropic首席执行官概述了开拓前沿的计划 Anthropic首席执行官概述了开拓前沿的计划 人工智能研究人员就人工智能风险发出了日益紧迫的警告,OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)表示,现在或许是时候“放缓”发展步伐了。但这实际上意味着什么呢?在最近的一篇博客文章中,Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)不仅支持“放缓前沿发展”的呼吁,还为此提出了三项广泛的策略。他表示,Anthropic正在“单方面承诺”采取其中一种方法。本周,随
距离 TechCrunch Disrupt 2026 还有 48 小时:聆听塑造未来的创新者分享见解 距离 TechCrunch Disrupt 2026 还有 48 小时:聆听塑造未来的创新者分享见解 距离开幕不足 48 小时,TechCrunch Disrupt 2026 将在旧金山莫斯康西馆(Moscone West)拉开帷幕。在门票价格上调前,立即预订您的门票,最高可享 100 美元优惠。此外,还可半价获取第二张通行证。立即注册。10 月 13 日至 15 日,超过 10,000 名创始人、投资者和科技领袖将齐聚一堂,建立重塑他们职业道路的联系。超过 250 位演讲者将在 200 多场会议中发表演讲。探索 300 多家初创企业展示的未来。在 10 月 13 日上午 8 点(太平洋时间)门
相关专题推荐
设计与艺术 顶级AI插画工具:更快地创作编辑类场景和封面插图
顶级AI插画工具:更快地创作编辑类场景和封面插图

2026年最新高评分AI插画工具:我们精心挑选的这份清单汇集了功能强大的顶级工具,助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试,并提供了免费版与付费版的对比,帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案,释放您的AI优势,提升创作效率。立即访问 XIX.AI 探索更多。

10 个工具
xix.ai
教育与学习 备考首选的顶尖AI辅导老师:练习数学、科学和英语
备考首选的顶尖AI辅导老师:练习数学、科学和英语

2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI!我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具,提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习,并释放你的学术潜能。 立即探索,发现最适合您的备考工具,今天就开始创作,释放您的AI优势!

10 个工具
xix.ai
金融 用于个人财务管理的 AI 预算规划工具
用于个人财务管理的 AI 预算规划工具

2026 年最新最佳顶级评分 AI 预算规划工具,专为个人财务管理打造,现已登陆 XIX.AI!本精选合集收录了强大且具颠覆性的解决方案,助您开展实际测试、理解消费习惯,并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理,助您释放 AI 优势。立即探索!

11 个工具
xix.ai
健康养生 AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复
AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复

2026年最新精选高评分AI睡眠追踪助手,助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具,提供实际测试结果、免费与付费版本对比以及详细排名,助您找到必试的解决方案,从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI,解锁您的AI优势。

10 个工具
xix.ai
数据分析 用于产品和收入分析的 AI SQL 辅助工具
用于产品和收入分析的 AI SQL 辅助工具

2026年最新、最受欢迎、评分最高的AI SQL辅助工具,助力产品与营收分析! XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具,这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察,帮助用户显著提升工作效率,从而推动更明智的商业决策。立即探索,发现最适合您的工具,释放您的AI优势!

14 个工具
xix.ai
教育与学习 最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案
最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案

2026年最新最佳高评分AI作业助手:不仅提供答案,更传授核心概念。专为学生打造的强大工具,精选必试清单,每周更新,免费与付费版本对比,真实使用测试,精准排名,助您充分释放学习潜能。立即探索,发现最适合您的工具,让学习更高效。

10 个工具
xix.ai
评论 (1)
0/500
StephenGreen
StephenGreen 2026-09-14 20:00:09

AMDのvLLM-ATOMプラグイン、DeepSeek-R1の推論速度を大幅に向上させるらしい。既存のワークフローを変えずにハードウェアの潜在能力を引き出すってのは嬉しい限りだ。GPUの性能を最大限に活かせるなら、ローカルでLLMを動かす際の待ち時間も減るはず。競合他社との差が開くか注目!🚀 #AMD #LLM

OR