Heim
AMD bringt das vLLM-ATOM-Plugin auf den Markt, um die Inferenz bei großen Modellen zu beschleunigen

Vor kurzem hat AMD offiziell ein neues Plugin namens vLLM-ATOM vorgestellt. Sein Hauptziel ist es, mehr Hardware-Potenzial auszuschöpfen, ohne bestehende Arbeitsabläufe zu verändern, und dabei erhebliche Beschleunigungen bei der Inferenz für gängige große Sprachmodelle wie DeepSeek-R1, Kimi-K2 und gpt-oss-120B zu erzielen.
Für Entwickler ist vLLM ein Open-Source-Framework, das darauf ausgelegt ist, den Durchsatz und die GPU-Speichernutzung in Umgebungen mit hoher Parallelität zu optimieren. Im Gegensatz zu herkömmlichen Tools für einzelne Anfragen konzentriert es sich auf die Anforderungsplanung und das Cache-Management. Das neue ATOM-Plugin von AMD ist eine tiefgreifend angepasste Lösung, die speziell für Instinct-GPUs entwickelt wurde. Sein herausragendes Merkmal ist die „nahtlose Migration“: Unternehmensanwender müssen bestehende API-Schnittstellen, Befehle oder End-to-End-Workflows nicht ändern; das Plugin übernimmt die zugrunde liegende Leistungsoptimierung automatisch im Hintergrund.
Aus Sicht der technischen Architektur nutzt vLLM-ATOM ein präzises dreischichtiges Design. Die oberste Schicht behält die Anforderungsplanung und die Kompatibilitätsschnittstelle von vLLM bei. Die mittlere Schicht, das ATOM-Plugin, verwaltet die Modellimplementierung und die Kernel-Optimierung. Die unterste Schicht, AITER, ist direkt mit der GPU-Hardware verbunden und bietet zentrale Beschleunigungsfunktionen wie „Flash Attention“, quantisiertes GEMM und „Fused MoE“.
Dieses Plugin zielt in erster Linie auf Hochleistungs-GPU-Computing-Karten wie Instinct MI350, MI400 und MI355X ab. Die Liste der unterstützten Modelle umfasst Flaggschiff-Modelle wie Qwen3, GLM und DeepSeek und deckt verschiedene Architekturen vollständig ab, darunter MoE (Mixture of Experts), dichte Modelle und Vision-Language-Modelle (VLM).
Branchenanalysten weisen darauf hin, dass der Kernwert dieser Lösung darin liegt, die Einführungshürden für Hochleistungsrechnen erheblich zu senken. Durch diesen Ansatz, der eine nahtlose Migration ohne Lernkurve ermöglicht, können Unternehmen KI-Dienste einfacher auf das AMD-Hardware-Backend verlagern, dabei die Inferenz-Effizienz beibehalten und gleichzeitig die Stabilität sowie die Reaktionsgeschwindigkeit von Online-Diensten mit großen Modellen effektiv verbessern.
Verwandter Artikel
xAI stellt frühe Grok-Beta für komplexe Programmieraufgaben vor
Am 14. Mai hat Elons KI-Unternehmen xAI eine frühe Beta-Version eines Code-Assistenten namens Grok Build veröffentlicht. Derzeit nur für SuperGrok-Abonnenten zugänglich, ist die Plattform darauf ausgelegt, die Softwareentwicklung zu optimieren und ko
Anthropic-CEO stellt Plan zur Erschließung neuer Grenzen vor
KI-Forscher warnen immer eindringlicher vor den Risiken der künstlichen Intelligenz, wobei OpenAI-CEO Sam Altman andeutete, es sei möglicherweise an der Zeit, die Entwicklung zu „drosseln“. Doch was w
48 Stunden bis TechCrunch Disrupt 2026: Hören Sie von den Entwicklern, die die Zukunft gestalten
Mit weniger als 48 Stunden bis zum Start geht TechCrunch Disrupt 2026 im Moscone West in San Francisco an den Start. Sichern Sie sich Ihr Ticket mit bis zu 100 US-Dollar Rabatt, bevor die Preise an der Abendkasse steigen. Zudem erhalten Sie ein zweit
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)

Vor kurzem hat AMD offiziell ein neues Plugin namens vLLM-ATOM vorgestellt. Sein Hauptziel ist es, mehr Hardware-Potenzial auszuschöpfen, ohne bestehende Arbeitsabläufe zu verändern, und dabei erhebliche Beschleunigungen bei der Inferenz für gängige große Sprachmodelle wie DeepSeek-R1, Kimi-K2 und gpt-oss-120B zu erzielen.
Für Entwickler ist vLLM ein Open-Source-Framework, das darauf ausgelegt ist, den Durchsatz und die GPU-Speichernutzung in Umgebungen mit hoher Parallelität zu optimieren. Im Gegensatz zu herkömmlichen Tools für einzelne Anfragen konzentriert es sich auf die Anforderungsplanung und das Cache-Management. Das neue ATOM-Plugin von AMD ist eine tiefgreifend angepasste Lösung, die speziell für Instinct-GPUs entwickelt wurde. Sein herausragendes Merkmal ist die „nahtlose Migration“: Unternehmensanwender müssen bestehende API-Schnittstellen, Befehle oder End-to-End-Workflows nicht ändern; das Plugin übernimmt die zugrunde liegende Leistungsoptimierung automatisch im Hintergrund.
Aus Sicht der technischen Architektur nutzt vLLM-ATOM ein präzises dreischichtiges Design. Die oberste Schicht behält die Anforderungsplanung und die Kompatibilitätsschnittstelle von vLLM bei. Die mittlere Schicht, das ATOM-Plugin, verwaltet die Modellimplementierung und die Kernel-Optimierung. Die unterste Schicht, AITER, ist direkt mit der GPU-Hardware verbunden und bietet zentrale Beschleunigungsfunktionen wie „Flash Attention“, quantisiertes GEMM und „Fused MoE“.
Dieses Plugin zielt in erster Linie auf Hochleistungs-GPU-Computing-Karten wie Instinct MI350, MI400 und MI355X ab. Die Liste der unterstützten Modelle umfasst Flaggschiff-Modelle wie Qwen3, GLM und DeepSeek und deckt verschiedene Architekturen vollständig ab, darunter MoE (Mixture of Experts), dichte Modelle und Vision-Language-Modelle (VLM).
Branchenanalysten weisen darauf hin, dass der Kernwert dieser Lösung darin liegt, die Einführungshürden für Hochleistungsrechnen erheblich zu senken. Durch diesen Ansatz, der eine nahtlose Migration ohne Lernkurve ermöglicht, können Unternehmen KI-Dienste einfacher auf das AMD-Hardware-Backend verlagern, dabei die Inferenz-Effizienz beibehalten und gleichzeitig die Stabilität sowie die Reaktionsgeschwindigkeit von Online-Diensten mit großen Modellen effektiv verbessern.
xAI stellt frühe Grok-Beta für komplexe Programmieraufgaben vor
Am 14. Mai hat Elons KI-Unternehmen xAI eine frühe Beta-Version eines Code-Assistenten namens Grok Build veröffentlicht. Derzeit nur für SuperGrok-Abonnenten zugänglich, ist die Plattform darauf ausgelegt, die Softwareentwicklung zu optimieren und ko
Anthropic-CEO stellt Plan zur Erschließung neuer Grenzen vor
KI-Forscher warnen immer eindringlicher vor den Risiken der künstlichen Intelligenz, wobei OpenAI-CEO Sam Altman andeutete, es sei möglicherweise an der Zeit, die Entwicklung zu „drosseln“. Doch was w
48 Stunden bis TechCrunch Disrupt 2026: Hören Sie von den Entwicklern, die die Zukunft gestalten
Mit weniger als 48 Stunden bis zum Start geht TechCrunch Disrupt 2026 im Moscone West in San Francisco an den Start. Sichern Sie sich Ihr Ticket mit bis zu 100 US-Dollar Rabatt, bevor die Preise an der Abendkasse steigen. Zudem erhalten Sie ein zweit











