Elon Musks ehrgeiziger Plan für Tesla Dojo Ai Supercomputer enthüllt

Seit Jahren spricht Elon Musk lautstark über Dojo, den KI-Supercomputer, der im Mittelpunkt von Teslas KI-Ambitionen steht. Im Juli 2024 betonte Musk dessen Bedeutung und kündigte an, dass Teslas KI-Team die Arbeiten an Dojo vor der mit Spannung erwarteten Robotaxi-Enthüllung im Oktober intensivieren werde.

Was genau ist Dojo, und warum ist es so entscheidend für Teslas langfristige Strategie?

Im Wesentlichen ist Dojo Teslas speziell entwickelter Supercomputer, der darauf ausgelegt ist, die neuronalen Netze für "Full Self-Driving" (FSD) zu trainieren. Die Verbesserung von Dojo ist eng mit Teslas Ziel verbunden, vollständiges autonomes Fahren zu erreichen und einen Robotaxi-Dienst zu starten. Derzeit kann FSD, das in Hunderttausenden von Tesla-Fahrzeugen installiert ist, bestimmte automatisierte Fahraufgaben übernehmen, erfordert jedoch weiterhin die Aufmerksamkeit eines menschlichen Fahrers.

Nach der Cybercab-Enthüllung im Oktober plant Tesla, im Juni dieses Jahres in Austin einen autonomen Fahrdienst zu starten, der eine eigene Flotte von Fahrzeugen nutzt. Während des Ergebnisgesprächs für das vierte Quartal und das Gesamtjahr 2024 im Januar kündigte Tesla Pläne an, 2025 unbeaufsichtigtes FSD für US-Kunden einzuführen.

Trotz Musks früherer Behauptungen, Dojo sei der Schlüssel zu Teslas Ambitionen für vollständiges autonomes Fahren, war er zu diesem Thema relativ still, während das Ziel näher rückt. Seit August 2024 hat sich das Gespräch auf Cortex verlagert, Teslas neuen KI-Trainings-Supercluster am Hauptsitz in Austin. Musk beschrieb Cortex als "massiven Speicher für das Videotraining von FSD & Optimus."

Während Teslas Aktionärspräsentation für das vierte Quartal Updates zu Cortex lieferte, schwieg sie zu Dojo. Tesla investiert eindeutig stark in KI, einschließlich Dojo und jetzt Cortex, um Autonomie sowohl bei Fahrzeugen als auch bei humanoiden Robotern zu erreichen. Angesichts des zunehmend wettbewerbsintensiven EV-Marktes hängt Teslas zukünftiger Erfolg stark davon ab, diese Technologien zu meistern.

Die Hintergrundgeschichte von Teslas Dojo

Elon Musks Vision für Tesla geht über die bloße Herstellung von Autos, Solarpaneelen und Energiespeichersystemen hinaus. Er möchte, dass Tesla ein KI-Kraftwerk wird, das selbstfahrende Technologie durch Nachahmung menschlicher Wahrnehmung vorantreibt.

Im Gegensatz zu vielen anderen Unternehmen für autonome Fahrzeugtechnologie, die auf eine Mischung aus Sensoren wie Lidar, Radar und Kameras sowie hochauflösende Karten setzen, strebt Tesla an, vollständige Autonomie allein mit Kameras zu erreichen. Diese Kameras erfassen visuelle Daten, die dann von fortschrittlichen neuronalen Netzen verarbeitet werden, um Fahrentscheidungen in Echtzeit zu treffen.

Beim ersten AI Day von Tesla im Jahr 2021 verglich der damalige Leiter der KI, Andrej Karpathy, das Ziel des Unternehmens mit dem Bau eines "synthetischen Tieres von Grund auf". Musk hatte seit 2019 auf Dojo hingewiesen, aber es wurde offiziell beim AI Day vorgestellt.

Während Unternehmen wie Alphabets Waymo erfolgreich Level-4-autonome Fahrzeuge kommerzialisiert haben, erfordert Teslas System noch einen menschlichen Fahrer am Steuer. Über 1,8 Millionen Menschen haben FSD von Tesla abonniert, das zwischen 8.000 und 15.000 US-Dollar kosten kann. Das Versprechen ist, dass die von Dojo trainierte KI über Over-the-Air-Updates an Kunden ausgerollt wird. Die umfangreichen Daten, die von FSD-Fahrzeugen gesammelt werden – Millionen von Meilen an Videomaterial – werden genutzt, um das System zu trainieren und zu verfeinern.

Einige Branchenexperten stellen jedoch die Wirksamkeit dieses datenintensiven Ansatzes in Frage. Anand Raghunathan, Professor an der Purdue University, sagte gegenüber TechCrunch: "Zunächst einmal gibt es eine wirtschaftliche Einschränkung, und bald wird es einfach zu teuer werden, das zu tun. Manche behaupten, dass uns irgendwann die sinnvollen Daten zum Trainieren der Modelle ausgehen könnten. Mehr Daten bedeuten nicht unbedingt mehr Informationen, also hängt es davon ab, ob diese Daten Informationen enthalten, die nützlich sind, um ein besseres Modell zu erstellen, und ob der Trainingsprozess in der Lage ist, diese Informationen tatsächlich in ein besseres Modell umzuwandeln."

Trotz dieser Bedenken scheint der Trend zu mehr Daten vorerst bestehen zu bleiben. Und mit mehr Daten kommt der Bedarf an mehr Rechenleistung, um alles zu speichern und zu verarbeiten, und hier kommt Dojo, der Supercomputer, ins Spiel.

Was ist ein Supercomputer?

Dojo ist Teslas Supercomputersystem, das speziell für das Training von KI-Modellen, insbesondere für FSD, entwickelt wurde. Der Name "Dojo" ist eine Anspielung auf Trainingsräume für Kampfsportarten.

Ein Supercomputer besteht aus Tausenden von kleineren Computern, sogenannten Knoten, die jeweils eine CPU und eine GPU haben. Die CPU verwaltet den Knoten, während die GPU komplexe Aufgaben wie das Aufteilen von Operationen und das gleichzeitige Arbeiten daran übernimmt. GPUs sind entscheidend für maschinelles Lernen wie die in FSD-Trainingssimulationen verwendeten. Sie treiben auch große Sprachmodelle an, was erklärt, warum Nvidia aufgrund des Aufstiegs generativer KI das wertvollste Unternehmen der Welt geworden ist.

Tesla verwendet derzeit Nvidia-GPUs, um seine KI zu trainieren, sucht jedoch nach einer Diversifizierung seiner Hardwarequellen aufgrund der hohen Kosten und der begrenzten Verfügbarkeit von Nvidia-Chips.

Warum braucht Tesla einen Supercomputer?

Teslas Vision-only-Ansatz erfordert einen Supercomputer. Die neuronalen Netze, die FSD antreiben, werden mit riesigen Mengen an Fahrdaten trainiert, um Objekte rund um das Fahrzeug zu erkennen und zu klassifizieren und Fahrentscheidungen zu treffen. Wenn FSD verwendet wird, müssen diese Netze kontinuierlich visuelle Daten mit einer Geschwindigkeit sammeln und verarbeiten, die mit der menschlichen Wahrnehmung konkurriert.

Im Wesentlichen zielt Tesla darauf ab, eine digitale Nachbildung des menschlichen visuellen Kortex und der Gehirnfunktionen zu schaffen. Dafür muss Tesla enorme Mengen an Videodaten von seiner globalen Fahrzeugflotte speichern und verarbeiten und unzählige Simulationen durchführen, um sein KI-Modell zu trainieren.

Dojo-Bilder pic.twitter.com/Lu8YiZXo8c

— Elon Musk (@elonmusk) 23. Juli 2024

Tesla ist derzeit auf Nvidia für seinen Dojo-Trainingscomputer angewiesen, arbeitet jedoch an eigener spezieller Hardware, um die Effizienz zu steigern und die Kosten zu senken. Das Ziel ist es, Hardware zu entwickeln, die die Bandbreite erhöht und Latenzzeiten reduziert, weg von standardmäßiger GPU-Hardware.

Erzählen Sie mir mehr über diese Chips

Tesla glaubt, ähnlich wie Apple, an die Entwicklung von Hardware und Software, die nahtlos zusammenarbeiten. Diese Philosophie führte dazu, dass Tesla seine eigenen Chips für Dojo entwickelte.

Beim AI Day 2021 stellte Tesla den D1-Chip vor, ein handtellergroßes Siliziumquadrat. Die Produktion des D1 begann spätestens im Mai 2024, wobei die Fertigung von der Taiwan Semiconductor Manufacturing Company (TSMC) mit 7-Nanometer-Halbleiterknoten übernommen wurde. Der D1 verfügt über 50 Milliarden Transistoren und eine große Chipfläche von 645 Quadratmillimetern, was hohe Leistung und Effizienz für komplexe Aufgaben verspricht.

"Wir können Berechnungen und Datenübertragungen gleichzeitig durchführen, und unsere spezielle ISA, die Instruktionssatzarchitektur, ist vollständig für maschinelle Lernaufgaben optimiert", sagte Ganesh Venkataramanan, ehemaliger Senior Director von Autopilot-Hardware, bei Teslas AI Day 2021. "Das ist reines maschinelles Lernen."

Obwohl der D1 leistungsstark ist, erreicht er nicht ganz Nvidias A100-Chip, der ebenfalls einen 7-Nanometer-Prozess verwendet und 54 Milliarden Transistoren mit einer größeren Chipfläche von 826 Quadratmillimetern enthält.

Um eine höhere Bandbreite und Rechenleistung zu erreichen, kombinierte Teslas KI-Team 25 D1-Chips zu einem einzigen Tile, der als einheitliches Computersystem funktioniert. Jeder Tile bietet 9 Petaflops Rechenleistung und 36 Terabyte pro Sekunde Bandbreite und umfasst alle notwendigen Hardwarekomponenten für Strom, Kühlung und Datenübertragung. Sechs Tiles bilden ein Rack, zwei Racks bilden ein Gehäuse, und zehn Gehäuse bilden einen ExaPOD. Beim AI Day 2022 enthüllte Tesla Pläne, Dojo durch den Einsatz mehrerer ExaPODs zu skalieren und so den Supercomputer zu bilden.

Tesla entwickelt auch einen D2-Chip der nächsten Generation, um Engpässe im Informationsfluss zu beheben. Der D2 würde den gesamten Dojo-Tile auf eine einzige Siliziumscheibe integrieren.

Tesla hat nicht bekannt gegeben, wie viele D1-Chips es bestellt hat oder erwartet zu erhalten, noch hat es einen Zeitplan dafür angegeben, wann Dojo-Supercomputer mit D1-Chips laufen werden.

Als Reaktion auf einen Post im Juni auf X über den Bau eines riesigen GPU-Kühlers in Texas sagte Musk, Tesla strebe in den nächsten 18 Monaten "halb Tesla-KI-Hardware, halb Nvidia/anderes" an. Das "andere" könnte laut Musks Kommentaren im Januar AMD-Chips umfassen.

Was bedeutet Dojo für Tesla?

Durch die Kontrolle über die eigene Chipproduktion könnte Tesla potenziell erhebliche Rechenleistung zu seinen KI-Trainingsprogrammen zu geringeren Kosten hinzufügen, insbesondere wenn die Produktion mit TSMC skaliert wird.

Dieser Schritt könnte auch Teslas Abhängigkeit von Nvidias zunehmend teuren und knappen Chips reduzieren. Während des Ergebnisgesprächs für das zweite Quartal äußerte Musk Bedenken über die Sicherung einer stabilen GPU-Versorgung und betonte die Notwendigkeit, sich stärker auf Dojo zu konzentrieren.

Trotz dieser Bemühungen kauft Tesla weiterhin Nvidia-Chips für sein KI-Training. Im Juni postete Musk auf X:

Von den etwa 10 Milliarden US-Dollar an KI-bezogenen Ausgaben, die ich sagte, dass Tesla in diesem Jahr tätigen würde, entfallen etwa die Hälfte auf interne Ausgaben, hauptsächlich auf den von Tesla entwickelten KI-Inferenzcomputer und Sensoren, die in allen unseren Autos vorhanden sind, sowie auf Dojo. Für den Aufbau der KI-Trainings-Supercluster macht Nvidia-Hardware etwa zwei Drittel der Kosten aus. Meine derzeitige beste Schätzung für Nvidia-Käufe von Tesla liegt in diesem Jahr bei 3 bis 4 Milliarden US-Dollar.

— Elon Musk (@elonmusk) Juni 2024

"Inferenz-Berechnung" bezieht sich auf die Echtzeit-KI-Berechnungen, die von Tesla-Fahrzeugen durchgeführt werden, im Unterschied zu den Trainingsberechnungen, die von Dojo übernommen werden.

Dojo stellt ein riskantes, aber potenziell lohnendes Unterfangen für Tesla dar. Musk hat anerkannt, dass Tesla mit Dojo möglicherweise nicht erfolgreich sein könnte, aber er sieht es als Grundpfeiler für Teslas KI-Abteilung, zunächst zugeschnitten auf die Kennzeichnung und das Training der Computer Vision für FSD und Optimus, Teslas humanoidem Roboter.

Zukünftige Versionen von Dojo könnten für allgemeines KI-Training angepasst werden, was jedoch eine Neufassung der derzeit für GPUs entwickelten Software erfordern würde. Alternativ könnte Tesla seine Rechenleistung vermieten, ähnlich wie AWS und Azure.

Während des Ergebnisgesprächs für das zweite Quartal erwähnte Musk, dass er "einen Weg sieht, mit Dojo wettbewerbsfähig gegenüber Nvidia zu sein". Ein Bericht von Morgan Stanley vom September 2023 legte nahe, dass Dojo Teslas Marktwert um 500 Milliarden US-Dollar steigern könnte, indem neue Einnahmequellen in Robotaxis und Softwarediensten erschlossen werden.

Im Wesentlichen dienen Dojos Chips als eine Versicherungspolice für Tesla, mit dem Potenzial für erhebliche Renditen.

Wie weit ist Dojo fortgeschritten?

Reuters berichtete, dass Tesla im Juli 2023 mit der Produktion von Dojo begann, aber ein Post von Musk im Juni 2023 deutete an, dass Dojo seit einigen Monaten "online und nützliche Aufgaben ausführt".

Tesla erwartete, dass Dojo bis Februar 2024 zu den fünf leistungsstärksten Supercomputern gehören würde, was jedoch nicht öffentlich bestätigt wurde, was Zweifel an seiner Erreichung aufwirft. Das Unternehmen prognostizierte auch, dass Dojos Gesamtrechenleistung bis Oktober 2024 100 Exaflops erreichen würde. (Ein Exaflop entspricht 1 Quintillion Rechenoperationen pro Sekunde. Um 100 Exaflops zu erreichen, würde Tesla, unter der Annahme, dass ein D1 362 Teraflops erreichen kann, über 276.000 D1s oder etwa 320.500 Nvidia A100 GPUs benötigen.)

Im Januar 2024 versprach Tesla, 500 Millionen US-Dollar für den Bau eines Dojo-Supercomputers in seiner Gigafactory in Buffalo, New York, bereitzustellen.

Im Mai 2024 erwähnte Musk, dass der hintere Teil von Teslas Gigafactory in Austin einem "super dichten, wassergekühlten Supercomputer-Cluster" gewidmet sein würde, der sich jedoch als für Cortex, nicht für Dojo, herausstellte.

Nach dem Ergebnisgespräch für das zweite Quartal postete Musk auf X, dass Teslas KI-Team den Tesla HW4 KI-Computer (umbenannt in AI4), die Hardware in Tesla-Fahrzeugen, im Trainingskreislauf mit Nvidia-GPUs verwendet. Er stellte fest, dass die Aufteilung etwa 90.000 Nvidia H100s plus 40.000 AI4-Computer umfasst.

"Und Dojo 1 wird bis Ende des Jahres etwa 8.000 H100-Äquivalente an Training online haben", fuhr er fort. "Nicht massiv, aber auch nicht trivial."

Tesla hat nicht bestätigt, ob diese Chips nun betriebsbereit sind und Dojo betreiben. Während des Ergebnisgesprächs für das vierte Quartal 2024 wurde Dojo nicht erwähnt, aber Tesla berichtete, dass die Bereitstellung von Cortex im vierten Quartal abgeschlossen wurde, was V13 von überwachtem FSD ermöglichte.

Diese Geschichte wurde ursprünglich am 3. August 2024 veröffentlicht, und wir werden sie aktualisieren, sobald neue Informationen verfügbar sind.