Heim
Cosmos3, das erste vollständig quelloffene multimodale physikalische KI-Modell, wird vorgestellt; NVIDIA ist Mitbegründer der Cosmos Alliance
Im Bereich der physikalischen künstlichen Intelligenz wurden bedeutende Fortschritte erzielt. Am 1. Juni stellte NVIDIA offiziell Cosmos3 vor, ein grundlegendes Großmodell für physikalische KI in einer offenen Welt. Als weltweit erstes vollständig quelloffenes und multimodales großes Modell für physikalische KI nutzt es eine innovative hybride Transformer-Architektur, die visuelles Schlussfolgern, Weltgenerierung und Aktionsvorhersage in einem einzigen System vereint. Dies könnte den Trainings- und Evaluierungszyklus für physikalische KI drastisch von Monaten auf nur wenige Tage verkürzen.
Cosmos3 bietet eine neue Lösung für die seit langem bestehende Herausforderung der Branche, nämlich die „Schwierigkeit der Verallgemeinerung in realen Szenarien mit begrenzten Daten und fragmentierten Simulationsframeworks“. Das Modell wurde auf einem riesigen physikalischen KI-Datensatz trainiert, der Milliarden von Texten, Bildern, Videos, Audiodaten und Bewegungstrajektorien enthält. Es kann modalitätsübergreifende Inhalte auf natürliche Weise verstehen und generieren und erreicht dabei branchenführende Genauigkeit bei der physikalischen Simulation.

Auf der technischen Seite kombiniert Cosmos3 auf innovative Weise einen „Reasoning Transformer“ mit einem „Generative Transformer“. Das Modell analysiert zunächst eingehend die Interaktionsregeln von Objekten, Bewegungszustände und räumlich-zeitliche Beziehungen, um anschließend präzise Videos zu generieren und Bewegungsbahnen vorherzusagen. Dieses Design verleiht ihm ein starkes multimodales Verständnis von Bildern und Text, die Fähigkeit, physikalische Umgebungen zu simulieren und vorherzusagen, sowie Aktionsstrategiefähigkeiten, die Robotern helfen, bestimmte Aufgaben zu erfüllen. In mehreren gängigen physikalischen KI-Benchmarks, darunter Artificial Analysis, Physics-IQ und RoboLab, zählt Cosmos3 zu den besten Open-Source-Modellen.
Um unterschiedlichen Entwicklungsstadien gerecht zu werden, hat NVIDIA mehrere Versionen veröffentlicht: Cosmos3Super, das auf das sekundäre Training von Roboter- und autonomen Fahrmodellen mit extremer Präzision ausgerichtet ist, und Cosmos3Nano, das in Sekundenschnelle eine hochwertige Videoanalyse und Aktionsinferenz durchführen kann. Beide sind nun offiziell verfügbar. Die Version Cosmos3Edge, die für Echtzeit-Inferenz auf Edge-Geräten konzipiert ist, steht ebenfalls auf der Release-Roadmap.
Parallel zur Einführung der großen Modelle hat NVIDIA gemeinsam mit weltweit führenden Modellforschungsteams und KI-Entwicklern, darunter Agile Robots, Black Forest Labs, Generalist, LTX, Runway und Skild AI, die „NVIDIA Cosmos Coalition“ gegründet. Jensen Huang, Gründer und CEO von NVIDIA, erklärte, dass mit den kontinuierlichen Durchbrüchen im multimodalen Schlussfolgern und bei Weltmodellen das transformative Zeitalter der physischen KI angebrochen sei. Die Veröffentlichung dieser hochmodernen Open-Source-Modelle wird Entwicklern auf der ganzen Welt helfen, technologische Sprünge zu erzielen und die nächste Generation intelligenter Systeme zu schaffen, die in der Lage sind, die reale Welt wahrzunehmen, zu interpretieren und zu handeln.
Verwandter Artikel
Apple Smart Glasses könnten auf der WWDC27 vorgestellt werden und dabei den Schutz der Privatsphäre in den Mittelpunkt stellen
Bloombergs Mark Gurman berichtet, dass Apples Smart Glasses mit dem Codenamen N50 im Juni 2027 auf der WWDC27 vorgestellt werden sollen, wobei ein Verkaufsstart im Herbst 2027 erwartet wird. Ursprünglich für Ende dieses Jahres und Anfang 2027 geplant
Inside Details Exposed About Next-Gen Gemini: Strained Computing Power, Internal Teams Disagreed on Development Priorities and Resource Allocation
Berichten zufolge wurde der Start des hocherwarteten Next-Generation-Gemini-Modells von Google verschoben. Interne Uneinigkeiten über Entwicklungsprioritäten und Ressourcenallokation, kombiniert mit begrenzter Rechenkapazität und komplexen Genehmigun
OpenAI entkräftet Bedenken bezüglich des verlangsamen Wachstums und erklärt, dass mehrere Geschäftsbereiche ihre Expansion beschleunigen
Als Reaktion auf externe Kritik bezüglich des nachlassenden Umsatzwachstums und verpasster interner Zielvorgaben gab der KI-Pionier OpenAI am Dienstag, den 28. April, eine selbstbewusste Erklärung ab. Das Unternehmen präzisierte, dass seine Verbrauch
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Im Bereich der physikalischen künstlichen Intelligenz wurden bedeutende Fortschritte erzielt. Am 1. Juni stellte NVIDIA offiziell Cosmos3 vor, ein grundlegendes Großmodell für physikalische KI in einer offenen Welt. Als weltweit erstes vollständig quelloffenes und multimodales großes Modell für physikalische KI nutzt es eine innovative hybride Transformer-Architektur, die visuelles Schlussfolgern, Weltgenerierung und Aktionsvorhersage in einem einzigen System vereint. Dies könnte den Trainings- und Evaluierungszyklus für physikalische KI drastisch von Monaten auf nur wenige Tage verkürzen.
Cosmos3 bietet eine neue Lösung für die seit langem bestehende Herausforderung der Branche, nämlich die „Schwierigkeit der Verallgemeinerung in realen Szenarien mit begrenzten Daten und fragmentierten Simulationsframeworks“. Das Modell wurde auf einem riesigen physikalischen KI-Datensatz trainiert, der Milliarden von Texten, Bildern, Videos, Audiodaten und Bewegungstrajektorien enthält. Es kann modalitätsübergreifende Inhalte auf natürliche Weise verstehen und generieren und erreicht dabei branchenführende Genauigkeit bei der physikalischen Simulation.

Auf der technischen Seite kombiniert Cosmos3 auf innovative Weise einen „Reasoning Transformer“ mit einem „Generative Transformer“. Das Modell analysiert zunächst eingehend die Interaktionsregeln von Objekten, Bewegungszustände und räumlich-zeitliche Beziehungen, um anschließend präzise Videos zu generieren und Bewegungsbahnen vorherzusagen. Dieses Design verleiht ihm ein starkes multimodales Verständnis von Bildern und Text, die Fähigkeit, physikalische Umgebungen zu simulieren und vorherzusagen, sowie Aktionsstrategiefähigkeiten, die Robotern helfen, bestimmte Aufgaben zu erfüllen. In mehreren gängigen physikalischen KI-Benchmarks, darunter Artificial Analysis, Physics-IQ und RoboLab, zählt Cosmos3 zu den besten Open-Source-Modellen.
Um unterschiedlichen Entwicklungsstadien gerecht zu werden, hat NVIDIA mehrere Versionen veröffentlicht: Cosmos3Super, das auf das sekundäre Training von Roboter- und autonomen Fahrmodellen mit extremer Präzision ausgerichtet ist, und Cosmos3Nano, das in Sekundenschnelle eine hochwertige Videoanalyse und Aktionsinferenz durchführen kann. Beide sind nun offiziell verfügbar. Die Version Cosmos3Edge, die für Echtzeit-Inferenz auf Edge-Geräten konzipiert ist, steht ebenfalls auf der Release-Roadmap.
Parallel zur Einführung der großen Modelle hat NVIDIA gemeinsam mit weltweit führenden Modellforschungsteams und KI-Entwicklern, darunter Agile Robots, Black Forest Labs, Generalist, LTX, Runway und Skild AI, die „NVIDIA Cosmos Coalition“ gegründet. Jensen Huang, Gründer und CEO von NVIDIA, erklärte, dass mit den kontinuierlichen Durchbrüchen im multimodalen Schlussfolgern und bei Weltmodellen das transformative Zeitalter der physischen KI angebrochen sei. Die Veröffentlichung dieser hochmodernen Open-Source-Modelle wird Entwicklern auf der ganzen Welt helfen, technologische Sprünge zu erzielen und die nächste Generation intelligenter Systeme zu schaffen, die in der Lage sind, die reale Welt wahrzunehmen, zu interpretieren und zu handeln.
Apple Smart Glasses könnten auf der WWDC27 vorgestellt werden und dabei den Schutz der Privatsphäre in den Mittelpunkt stellen
Bloombergs Mark Gurman berichtet, dass Apples Smart Glasses mit dem Codenamen N50 im Juni 2027 auf der WWDC27 vorgestellt werden sollen, wobei ein Verkaufsstart im Herbst 2027 erwartet wird. Ursprünglich für Ende dieses Jahres und Anfang 2027 geplant
Inside Details Exposed About Next-Gen Gemini: Strained Computing Power, Internal Teams Disagreed on Development Priorities and Resource Allocation
Berichten zufolge wurde der Start des hocherwarteten Next-Generation-Gemini-Modells von Google verschoben. Interne Uneinigkeiten über Entwicklungsprioritäten und Ressourcenallokation, kombiniert mit begrenzter Rechenkapazität und komplexen Genehmigun
OpenAI entkräftet Bedenken bezüglich des verlangsamen Wachstums und erklärt, dass mehrere Geschäftsbereiche ihre Expansion beschleunigen
Als Reaktion auf externe Kritik bezüglich des nachlassenden Umsatzwachstums und verpasster interner Zielvorgaben gab der KI-Pionier OpenAI am Dienstag, den 28. April, eine selbstbewusste Erklärung ab. Das Unternehmen präzisierte, dass seine Verbrauch











