選項
首頁
新聞
AMD 推出 vLLM-ATOM 外掛程式,以加速大型模型的推論

AMD 推出 vLLM-ATOM 外掛程式,以加速大型模型的推論

2026-07-24
83

AMD 推出 vLLM-ATOM 外掛程式,以加速大型模型的推論

近期,AMD 正式推出了一款名為vLLM-ATOM 的新外掛程式。其核心目標是在不改變現有工作流程的前提下,充分釋放硬體潛力,為 DeepSeek-R1、Kimi-K2 及 gpt-oss-120B 等主流大型語言模型帶來顯著的推論速度提升。

對開發者而言,vLLM是一個開源框架,旨在優化高並發環境下的吞吐量與 GPU 記憶體使用效率。與傳統的單請求工具不同,它著重於請求調度與快取管理。 AMD 的新款 ATOM 外掛程式是一項專為Instinct GPU 打造的深度客製化解決方案。其突出特點在於「無縫遷移」:企業用戶無需修改現有的 API 介面、指令或端到端工作流程;該外掛程式會自動在後台處理底層的效能優化。

從技術架構角度來看,vLLM-ATOM 採用精確的三層設計。最上層保留了 vLLM 的請求調度與相容性介面;中間層(即 ATOM 外掛程式)負責管理模型實作與核心優化; 底層的AITER 則直接連接到 GPU 硬體,提供諸如 Flash Attention、量化 GEMM 以及融合 MoE 等核心加速功能。

此外掛程式主要針對Instinct MI350、MI400 及 MI355X 等高效能 GPU 運算卡。 其支援清單涵蓋 Qwen3、GLM 和 DeepSeek 等旗艦模型,並全面支援各種架構,包括 MoE(專家混合模型)、密集模型以及視覺語言模型(VLM)。

業界分析師指出,此解決方案的核心價值在於大幅降低高效能運算的部署門檻。透過這種無需學習曲線、平滑遷移的方法,企業能更輕鬆地將 AI 服務遷移至 AMD 硬體後端,在維持推論效率的同時,有效提升大型模型線上服務的穩定性與響應速度。

相關文章
亞馬遜運用人工智慧與潔淨能源推動資料中心擴建 亞馬遜運用人工智慧與潔淨能源推動資料中心擴建 亞馬遜運用人工智慧、核能及電動車,在擴展基礎設施的同時降低碳強度。圖片來源:亞馬遜亞馬遜的《2025年永續發展報告》詳述了這家科技巨頭如何整合人工智慧與核能投資,在擴展全球基礎設施的同時降低碳排放。根據亞馬遜《2025年永續發展報告》,該公司全球營運所消耗的電力已連續第三年100%由再生能源供應。該公司透過其零碳能源組合實現此目標,該組合包含 712 個專案,總容量達 42GW,以支援資料中心的全
阿里雲百鍊推出免費多模型切換功能,整合Qwen3.5與GLM-5 阿里雲百鍊推出免費多模型切換功能,整合Qwen3.5與GLM-5 技術服務商正在積極拆解大模型時代的“全家桶”捆綁策略。2026年2月25日,36氪報道,阿里雲旗下大模型服務平臺“百鍊”正式推出全新程式設計計劃。該舉措透過API服務將中國四大頂級開源模型整合於一套方案中。這一戰略舉措將阿里雲定位為全球首家提供“多模型無縫且免費切換”的雲服務提供商,有效消除了開發者此前在不同模型API之間切換時面臨的摩擦。核心亮點:四大“神獸”齊聚百鍊該程式設計計劃首批引入了當前最具競爭力的四款開源模型:Qwen3.5(通義千問):阿里雲自研模型,憑藉強大的全尺寸適應性繼續領跑
谷歌釋出適用於 Mac 的 Gemini Spark 智慧助手 谷歌釋出適用於 Mac 的 Gemini Spark 智慧助手 Gemini Spark,Google 用於管理您數字生活的 AI 助手,現已在 Mac 上可用。週三,Google 宣佈將 Spark 整合到現有的 Gemini 桌面應用程式中,並附帶多項更新和新功能,包括實時主題更新以及與更多應用程式(如 Google Tasks 和 Google Keep)的連線。macOS 版本的釋出使 Gemini Spark 能夠更好地與 Claude Desktop、Microsoft 的 Copilot 以及 OpenClaw 等桌面 AI 代理競爭,因為它現
相關專題推薦
漫畫創作 用於漫畫世界構建的AI角色設定表工具
用於漫畫世界構建的AI角色設定表工具

2026 年最新最佳頂級評分 AI 角色表工具,助力漫畫世界構建,現已登陸 XIX.AI!本精選列表收錄了經過嚴格現實測試的強大且具顛覆性的選項。您將看到免費與付費版本的對比,以及每週更新的排行榜,助您發掘那些能激發創意並簡化世界構建任務的必備工具。立即探索,解鎖您的 AI 優勢!

13 個工具
xix.ai
自動化 n8n AI 自動化工具,適用於內部營運、資料同步及多步驟代理流程
n8n AI 自動化工具,適用於內部營運、資料同步及多步驟代理流程

2026 年最新最佳 n8n AI 自動化工具,適用於內部營運、資料同步及多步驟代理流程,現已登場!XIX.AI 精心精選了一系列廣受好評、功能強大且能徹底改變遊戲規則的工具,可提升各項工作任務的生產力。 每項工具均經過嚴格的實際環境測試以確保可靠性,並提供詳盡的免費版與付費版比較,以及每週更新的排行榜。這些必試選項能助您發揮 AI 優勢,並輕鬆優化工作流程。立即探索,找出最適合您的工具!

11 個工具
xix.ai
迅速的 最適合多模型團隊的最佳提示管理工具
最適合多模型團隊的最佳提示管理工具

2026 年最新、最受好評的多模型團隊必備提示語管理工具! XIX.AI 精心精選了一系列強大且顛覆遊戲規則的必試工具,提供免費與付費版本的比較、實際應用測試以及詳細排名。這些頂級解決方案能透過簡化工作流程、消除重複作業,並在所有團隊專案中激發創意,從而顯著提升生產力。立即探索,找到最適合您的工具,並從今天開始創作吧!

9 個工具
xix.ai
會議助理 適用於遠端團隊的 AI 會議摘要工具
適用於遠端團隊的 AI 會議摘要工具

2026 年最新、最受好評的遠端團隊 AI 會議摘要工具!XIX.AI 精心精選了一系列強大且顛覆業界的必試工具,這些工具均經過實測驗證,能提供精準的會議記錄與可付諸行動的洞察。 您將在此找到免費與付費版本的比較數據及詳細排名,助您挑選最理想的方案,從而提升生產力並優化團隊溝通。立即探索,釋放您的 AI 優勢!

13 個工具
xix.ai
軟件開發 最佳 AI DevOps 輔助工具:監控部署、日誌及故障事件
最佳 AI DevOps 輔助工具:監控部署、日誌及故障事件

2026年最新、最優秀、評分最高的AI DevOps輔助工具彙總,專為監控部署流程、日誌記錄及故障處理而設計。XIX.AI透過實際應用測試與嚴格的評分體系,提供了極具突破性的強大工具,能夠顯著提升工作效率。您可以檢視免費版與付費版的對比資訊,找到最適合您工作流程的理想解決方案。立即探索,讓AI優勢助力您的業務發展。

7 個工具
xix.ai
圖像編輯 適用於產品照片的 AI 背景移除工具
適用於產品照片的 AI 背景移除工具

2026 年最新、最受好評的 AI 產品照片背景移除工具,就在 XIX.AI!我們精心挑選的清單包含多款強大且顛覆業界的解決方案,這些工具均經過實際測試驗證,能呈現專業級成果。 您將在此找到免費版與付費版的對比分析、每週更新的排行榜,以及不容錯過的推薦選項,助您提升工作效率,輕鬆打造無瑕疵的產品照片。立即探索,釋放您的 AI 優勢!

11 個工具
xix.ai
評論 (1)
0/500
StephenGreen
StephenGreen 2026-09-14 20:00:09

AMDのvLLM-ATOMプラグイン、DeepSeek-R1の推論速度を大幅に向上させるらしい。既存のワークフローを変えずにハードウェアの潜在能力を引き出すってのは嬉しい限りだ。GPUの性能を最大限に活かせるなら、ローカルでLLMを動かす際の待ち時間も減るはず。競合他社との差が開くか注目!🚀 #AMD #LLM

OR