Plan ambitieux d'Elon Musk pour Tesla Dojo Ai Supercomputer dévoilé

Pendant des années, Elon Musk a exprimé Dojo, le supercalculateur de l'IA au cœur des ambitions de l'IA de Tesla. En juillet 2024, Musk a souligné son importance, annonçant que l'équipe d'IA de Tesla intensifierait les efforts sur Dojo avant la révélation très attendue des robotaxes en octobre.

Alors, qu'est-ce que le dojo exactement et pourquoi est-il si crucial pour la stratégie à long terme de Tesla?

Essentiellement, Dojo est le supercalculateur sur mesure de Tesla conçu pour former ses réseaux neuronaux "autonomes" (FSD). L'amélioration du Dojo est étroitement liée à l'objectif de Tesla d'obtenir des capacités autonomes complètes et de lancer un service de robotaxi. Actuellement, FSD, installé dans des centaines de milliers de véhicules Tesla, peut gérer certaines tâches de conduite automatisées, mais nécessite toujours l'attention d'un conducteur humain.

Après la révélation du cybercab en octobre, Tesla devrait lancer un service de co-hail autonome à Austin en juin, en utilisant sa propre flotte de véhicules. Au cours de l'appel des bénéfices du quatrième trimestre et annuelle en 2024 en janvier, Tesla a annoncé son intention d'introduire le FSD non supervisé pour les clients américains en 2025.

Malgré les affirmations antérieures de Musk selon lesquelles Dojo était la clé de la part des ambitions autonomes de Tesla, il a été relativement silencieux sur le sujet à l'approche de l'objectif. Depuis août 2024, la conversation est passée à Cortex, le nouveau supercluster de formation d'IA de Tesla à son siège social d'Austin. Musk a décrit Cortex comme ayant un "stockage massif pour la formation vidéo de FSD & Optimus".

Alors que le jeu d'actionnaire du quatrième trimestre de Tesla a fourni des mises à jour sur Cortex, il était silencieux sur Dojo. Tesla investit clairement dans l'IA, notamment le dojo et maintenant le cortex, pour atteindre l'autonomie dans les véhicules et les robots humanoïdes. Le marché EV de plus en plus compétitif, le succès futur de Tesla dépend fortement de maîtriser ces technologies.

Tesla's Dojo Backstory

La vision d'Elon Musk pour Tesla s'étend au-delà de la simple fabrication de voitures, de panneaux solaires et de systèmes de stockage d'énergie. Il veut que Tesla soit une puissance de l'IA, pionnière de la technologie autonome en émulant la perception humaine.

Contrairement à de nombreuses autres sociétés de technologie de véhicules autonomes qui dépendent d'un mélange de capteurs comme le lidar, le radar et les caméras, ainsi que des cartes à haute définition, Tesla vise à atteindre une autonomie complète en utilisant les caméras seules. Ces caméras capturent des données visuelles, qui sont ensuite traitées par des réseaux de neurones avancés pour prendre des décisions de conduite en temps réel.

Lors de la première journée de l'IA de Tesla en 2021, l'ancien chef de l'IA, Andrej Karpathy, a comparé l'objectif de l'entreprise à la construction "d'un animal synthétique à partir de zéro". Musk faisait allusion à Dojo depuis 2019, mais il a été officiellement dévoilé le jour de l'IA.

Alors que des entreprises comme Waymo d'Alphabet ont réussi à commercialiser des véhicules autonomes de niveau 4, le système de Tesla nécessite toujours un humain au volant. Plus de 1,8 million de personnes se sont souscrites au FSD de Tesla, qui peut coûter de 8 000 $ à 15 000 $. La promesse est que l'IA formé par le DOJO sera déployée aux clients via des mises à jour en direct. Les vastes données recueillies à partir de véhicules FSD - des millions de kilomètres de séquences vidéo - sont utilisées pour entraîner et affiner le système.

Cependant, certains experts de l'industrie remettent en question l'efficacité de cette approche lourde des données. Anand Raghunathan, un professeur de l'Université Purdue, a déclaré à TechCrunch: "Tout d'abord, il y a une contrainte économique, et bientôt cela coûtera trop cher à le faire. Certaines personnes affirment que nous pourrions réellement manquer de données significatives pour former les modèles.

Malgré ces préoccupations, la tendance vers plus de données semble rester, du moins pour l'instant. Et avec plus de données vient le besoin de plus de puissance de calcul pour stocker et tout traiter, c'est là que Dojo, le supercalculateur, entre en jeu.

Qu'est-ce qu'un supercalculateur?

Dojo est le système de supercalculateur de Tesla, conçu spécifiquement pour former des modèles d'IA, en particulier pour le FSD. Le nom "Dojo" est un clin d'œil aux espaces de formation des arts martiaux.

Un supercalculateur se compose de milliers d'ordinateurs plus petits appelés nœuds, chacun avec un CPU et un GPU. Le CPU gère le nœud, tandis que le GPU gère les tâches complexes comme la division des opérations et les travaillant simultanément. Les GPU sont cruciaux pour les tâches d'apprentissage automatique telles que celles utilisées dans les simulations de formation FSD. Ils alimentent également les modèles de grandes langues, ce qui explique pourquoi Nvidia est devenue l'entreprise la plus précieuse de la planète en raison de la montée en puissance de l'IA générative.

Tesla utilise actuellement des GPU Nvidia pour former son IA, mais il cherche à diversifier ses sources matérielles en raison du coût élevé et de la disponibilité limitée des puces Nvidia.

Pourquoi Tesla a-t-elle besoin d'un supercalculateur?

L'approche visionnée de Tesla uniquement nécessite un supercalculateur. Les réseaux de neurones qui alimentent le FSD sont formés à des quantités massives de conduite de données pour reconnaître et classer les objets autour du véhicule et prendre des décisions de conduite. Lorsque le FSD est utilisé, ces réseaux doivent collecter et traiter continuellement les données visuelles à des vitesses qui rivalisent avec la perception humaine.

Essentiellement, Tesla vise à créer une réplique numérique du cortex visuel humain et des fonctions cérébrales. Pour y parvenir, Tesla doit stocker et traiter de grandes quantités de données vidéo de sa flotte mondiale de véhicules et exécuter d'innombrables simulations pour former son modèle d'IA.

Dojo photos pic.twitter.com/lu8yizxo8c

- Elon Musk (@elonmusk) 23 juillet 2024

Tesla s'appuie sur NVIDIA pour son ordinateur de formation Dojo actuel, mais travaille sur son propre matériel personnalisé pour accroître l'efficacité et réduire les coûts. L'objectif est de développer du matériel qui augmente la bande passante et réduit les latences, en s'éloignant du matériel GPU standard.

Dites-moi plus sur ces puces

Tesla, un peu comme Apple, croit en la conception de matériel et de logiciels qui fonctionnent parfaitement ensemble. Cette philosophie a conduit Tesla à développer ses propres puces pour Dojo.

Le jour de l'IA en 2021, Tesla a présenté la puce D1, un carré de silicium de la taille d'une paume. La production du D1 a commencé au moins en mai 2024, avec la fabrication gérée par la Taiwan Semiconductor Manufacturing Company (TSMC) à l'aide de 7 nœuds de semi-conducteurs nanométriques. Le D1 possède 50 milliards de transistors et une grande taille de matrice de 645 millimètres au carré, promettant une puissance et une efficacité élevées pour les tâches complexes.

"Nous pouvons faire des transferts de calcul et de données simultanément, et notre ISA personnalisée, qui est l'architecture d'instructions, est entièrement optimisée pour les charges de travail d'apprentissage automatique", a déclaré Ganesh Venkataramanan, ancien directeur principal du matériel automatique, lors de la journée de l'IA 2021 de Tesla. "C'est un pur apprentissage automatique."

Bien que le D1 soit puissant, il ne correspond pas tout à fait à la puce A100 de Nvidia, qui utilise également un processus de 7 nanomètres et contient 54 milliards de transistors avec une plus grande taille de matrice de 826 millimètres carrés.

Pour atteindre une bande passante et une puissance de calcul plus élevées, l'équipe AI de Tesla a combiné 25 puces D1 en une seule tuile, fonctionnant comme un système informatique unifié. Chaque tuile propose 9 pétaflops de puissance de calcul et 36 téraoctets par seconde de bande passante, et comprend tout le matériel nécessaire pour la puissance, le refroidissement et le transfert de données. Six carreaux constituent un rack, deux racks forment une armoire et dix armoires créent un exapod. Au jour de l'IA 2022, Tesla a révélé des plans pour faire évoluer DOJO en déploiement de plusieurs exapodes, formant le supercalculateur.

Tesla développe également une puce D2 de nouvelle génération pour aborder les goulots d'étranglement du flux d'informations. Le D2 intégrerait l'intégralité du tuile de dojo sur une seule tranche de silicium.

Tesla n'a pas divulgué le nombre de puces D1 qu'il a commandées ou s'attend à recevoir, et il n'a pas fourni de calendrier lorsque Dojo Supercalters fonctionnera sur des puces D1.

En réponse à un article de juin sur X sur la construction d'une glacière GPU géante au Texas, Musk a déclaré que Tesla vise "Half Tesla Ai Hardware, Half Nvidia / Other" au cours des 18 prochains mois. L'autre pourrait inclure des puces AMD, selon les commentaires de Musk en janvier.

Que signifie dojo pour Tesla?

En contrôlant sa production de puces, Tesla pourrait potentiellement ajouter une puissance de calcul significative à ses programmes de formation d'IA à moindre coût, d'autant plus que les échelles de production avec TSMC.

Cette décision pourrait également réduire la dépendance de Tesla à l'égard des jetons de plus en plus chers et rares de Nvidia. Au cours de l'appel de gains du deuxième trimestre de Tesla, Musk a exprimé sa préoccupation quant à la sécurisation des fournitures de GPU stables, soulignant la nécessité de se concentrer davantage sur le dojo.

Malgré ces efforts, Tesla achète toujours des puces Nvidia pour sa formation sur l'IA. En juin, Musk a posté sur X:

Sur les 10 milliards de dollars en dépenses liées à l'IA que j'ai dit que Tesla ferait cette année, environ la moitié est interne, principalement l'ordinateur et les capteurs d'inférence AI conçus par Tesla présents dans toutes nos voitures, plus le dojo. Pour construire les superclusters de formation AI, le matériel Nvidia est d'environ 2/3 du coût. Ma meilleure estimation actuelle pour les achats de Nvidia par Tesla est de 3 milliards de dollars à 4 milliards de dollars cette année.

- Elon Musk (@elonmusk) juin 2024

"Inférence Calcul" fait référence aux calculs d'IA en temps réel effectués par les véhicules Tesla, distincts du calcul de formation géré par Dojo.

Dojo représente une entreprise risquée mais potentiellement récompense pour Tesla. Musk a reconnu que Tesla pourrait ne pas réussir avec Dojo, mais il l'envisage comme une pierre angulaire pour la division AI de Tesla, initialement adaptée à l'étiquetage de la vision par ordinateur et à la formation pour FSD et Optimus, le robot humanoïde de Tesla.

Les versions futures de Dojo pourraient être adaptées à la formation d'IA à usage général, bien que cela nécessite un logiciel de réécriture actuellement conçu pour les GPU. Alternativement, Tesla pourrait louer sa puissance de calcul, similaire à AWS et Azure.

Pendant les gains du deuxième trimestre, Musk a mentionné voir "un chemin vers la compétition avec Nvidia avec Dojo". Un rapport de septembre 2023 de Morgan Stanley a suggéré que Dojo pourrait ajouter 500 milliards de dollars à la valeur marchande de Tesla en ouvrant de nouvelles sources de revenus dans la robotaxie et les services logiciels.

Essentiellement, les puces de Dojo servent de police d'assurance pour Tesla, avec un potentiel de rendements importants.

À quelle distance est le dojo?

Reuters a rapporté que Tesla avait commencé la production sur Dojo en juillet 2023, mais un article de juin 2023 de Musk a indiqué que Dojo avait été "en ligne et exécuté des tâches utiles depuis quelques mois".

Tesla prévoyait que Dojo se classerait parmi les cinq premiers superordinateurs les plus puissants d'ici février 2024, bien que cela n'ait pas été confirmé publiquement, jetant un doute sur sa réalisation. La société a également prévu que le calcul total de Dojo atteindrait 100 exaflops d'ici octobre 2024. (Un exaflops équivaut à 1 interillion d'opérations informatiques par seconde. Pour atteindre 100 exaflops, en supposant qu'un D1 peut atteindre 362 terraflops, Tesla aurait besoin de plus de 276 000 D1, ou d'environ 320 500 nvidia a100 gpus.)

En janvier 2024, Tesla a promis 500 millions de dollars pour construire un supercalculateur de dojo à son Gigafactory à Buffalo, New York.

En mai 2024, Musk a mentionné que la partie arrière de l'Austin Gigafactory de Tesla serait dédiée à un "cluster de supercalculateur refroidi par eau", qui s'est avéré être pour le cortex, pas le dojo.

Après l'appel de gains du deuxième trimestre de Tesla, Musk a posté sur X que l'équipe AI de Tesla utilise l'ordinateur Tesla HW4 AI (renommé AI4), le matériel trouvé dans les véhicules Tesla, dans la boucle de formation avec les GPU Nvidia. Il a noté que la ventilation était d'environ 90 000 NVIDIA H100S plus 40 000 ordinateurs AI4.

"Et Dojo 1 aura environ 8K H100 équivalent de formation en ligne d'ici la fin de l'année", a-t-il poursuivi. "Pas massif, mais pas non pas non plus."

Tesla n'a pas confirmé si ces puces sont désormais opérationnelles et exécutent du dojo. Au cours de l'appel de bénéfices du quatrième trimestre de la société, Dojo n'a pas été mentionné, mais Tesla a déclaré avoir terminé le déploiement du cortex au quatrième trimestre, qui a permis la V13 de FSD supervisé.

Cette histoire a initialement publié le 3 août 2024 et nous les mettrons à jour à mesure que de nouvelles informations se développent.