Plan ambitieux d'Elon Musk pour Tesla Dojo Ai Supercomputer dévoilé

Depuis des années, Elon Musk parle ouvertement de Dojo, le superordinateur d’intelligence artificielle au cœur des ambitions de Tesla en matière d’IA. En juillet 2024, Musk a souligné son importance, annonçant que l’équipe IA de Tesla intensifierait ses efforts sur Dojo en prévision de la révélation très attendue du robotaxi en octobre.

Alors, qu’est-ce que Dojo exactement, et pourquoi est-il si crucial pour la stratégie à long terme de Tesla ?

En essence, Dojo est le superordinateur sur mesure de Tesla conçu pour entraîner ses réseaux neuronaux de « conduite entièrement autonome » (FSD). L’amélioration de Dojo est étroitement liée à l’objectif de Tesla d’atteindre des capacités de conduite entièrement autonome et de lancer un service de robotaxi. Actuellement, le FSD, installé dans des centaines de milliers de véhicules Tesla, peut gérer certaines tâches de conduite automatisée mais nécessite encore l’attention d’un conducteur humain.

Suite à la révélation du Cybercab en octobre, Tesla prévoit de lancer un service de covoiturage autonome à Austin en juin, en utilisant sa propre flotte de véhicules. Lors de l’appel aux résultats du quatrième trimestre et de l’année complète 2024 en janvier, Tesla a annoncé son intention d’introduire le FSD sans supervision pour les clients américains en 2025.

Malgré les affirmations antérieures de Musk selon lesquelles Dojo était la clé des ambitions de conduite entièrement autonome de Tesla, il est resté relativement discret sur le sujet à mesure que l’objectif approche. Depuis août 2024, la conversation s’est tournée vers Cortex, le nouveau supercluster d’entraînement IA de Tesla à son siège d’Austin. Musk a décrit Cortex comme disposant d’un « stockage massif pour l’entraînement vidéo de FSD et Optimus ».

Bien que le dossier des actionnaires du quatrième trimestre de Tesla ait fourni des mises à jour sur Cortex, il est resté silencieux sur Dojo. Tesla investit clairement massivement dans l’IA, y compris Dojo et maintenant Cortex, pour atteindre l’autonomie dans les véhicules et les robots humanoïdes. Avec un marché des véhicules électriques de plus en plus compétitif, le succès futur de Tesla dépend fortement de la maîtrise de ces technologies.

L’histoire de Dojo de Tesla

La vision d’Elon Musk pour Tesla va au-delà de la simple fabrication de voitures, de panneaux solaires et de systèmes de stockage d’énergie. Il veut que Tesla devienne une puissance en IA, pionnière de la technologie de conduite autonome en imitant la perception humaine.

Contrairement à de nombreuses autres entreprises de technologie de véhicules autonomes qui s’appuient sur un mélange de capteurs comme le lidar, le radar et les caméras, ainsi que sur des cartes haute définition, Tesla vise à atteindre une autonomie complète en utilisant uniquement des caméras. Ces caméras capturent des données visuelles, qui sont ensuite traitées par des réseaux neuronaux avancés pour prendre des décisions de conduite en temps réel.

Lors du premier AI Day de Tesla en 2021, l’ancien responsable de l’IA, Andrej Karpathy, a comparé l’objectif de l’entreprise à la construction d’un « animal synthétique de toutes pièces ». Musk faisait allusion à Dojo depuis 2019, mais il a été officiellement dévoilé lors de l’AI Day.

Alors que des entreprises comme Waymo d’Alphabet ont commercialisé avec succès des véhicules autonomes de niveau 4, le système de Tesla nécessite encore un humain au volant. Plus de 1,8 million de personnes ont souscrit au FSD de Tesla, qui peut coûter entre 8 000 et 15 000 dollars. La promesse est que l’IA entraînée par Dojo sera déployée auprès des clients via des mises à jour en direct. Les données massives collectées par les véhicules FSD — des millions de kilomètres de séquences vidéo — sont utilisées pour entraîner et affiner le système.

Cependant, certains experts de l’industrie remettent en question l’efficacité de cette approche axée sur les données. Anand Raghunathan, professeur à l’Université Purdue, a déclaré à TechCrunch : « Tout d’abord, il y a une contrainte économique, et bientôt cela deviendra tout simplement trop coûteux. Certaines personnes affirment que nous pourrions bientôt manquer de données significatives pour entraîner les modèles. Plus de données ne signifie pas nécessairement plus d’informations, donc cela dépend de si ces données contiennent des informations utiles pour créer un meilleur modèle, et si le processus d’entraînement est capable de distiller ces informations dans un meilleur modèle. »

Malgré ces préoccupations, la tendance à utiliser plus de données semble persister, du moins pour l’instant. Et avec plus de données vient le besoin de plus de puissance de calcul pour tout stocker et traiter, c’est là qu’intervient Dojo, le superordinateur.

Qu’est-ce qu’un superordinateur ?

Dojo est le système de superordinateur de Tesla, conçu spécifiquement pour entraîner des modèles d’IA, en particulier pour le FSD. Le nom « Dojo » est un clin d’œil aux espaces d’entraînement des arts martiaux.

Un superordinateur est composé de milliers d’ordinateurs plus petits appelés nœuds, chacun avec un CPU et un GPU. Le CPU gère le nœud, tandis que le GPU s’occupe des tâches complexes comme la division des opérations et leur exécution simultanée. Les GPU sont cruciaux pour les tâches d’apprentissage automatique telles que celles utilisées dans les simulations d’entraînement du FSD. Ils alimentent également les grands modèles de langage, ce qui explique pourquoi Nvidia est devenue l’entreprise la plus précieuse au monde grâce à l’essor de l’IA générative.

Tesla utilise actuellement des GPU Nvidia pour entraîner son IA, mais cherche à diversifier ses sources de matériel en raison du coût élevé et de la disponibilité limitée des puces Nvidia.

Pourquoi Tesla a-t-il besoin d’un superordinateur ?

L’approche axée uniquement sur la vision de Tesla nécessite un superordinateur. Les réseaux neuronaux qui alimentent le FSD sont entraînés sur d’énormes quantités de données de conduite pour reconnaître et classer les objets autour du véhicule et prendre des décisions de conduite. Lorsque le FSD est utilisé, ces réseaux doivent collecter et traiter en continu des données visuelles à des vitesses rivalisant avec la perception humaine.

En essence, Tesla vise à créer une réplique numérique du cortex visuel humain et des fonctions cérébrales. Pour y parvenir, Tesla doit stocker et traiter d’énormes quantités de données vidéo provenant de sa flotte mondiale de véhicules et exécuter d’innombrables simulations pour entraîner son modèle d’IA.

Photos de Dojo pic.twitter.com/Lu8YiZXo8c

— Elon Musk (@elonmusk) 23 juillet 2024

Tesla s’appuie sur Nvidia pour son ordinateur d’entraînement Dojo actuel, mais travaille sur son propre matériel personnalisé pour augmenter l’efficacité et réduire les coûts. L’objectif est de développer un matériel qui augmente la bande passante et réduit les latences, en s’éloignant du matériel GPU standard.

Parlez-moi davantage de ces puces

Tesla, tout comme Apple, croit en la conception de matériel et de logiciels qui fonctionnent parfaitement ensemble. Cette philosophie a conduit Tesla à développer ses propres puces pour Dojo.

Lors de l’AI Day 2021, Tesla a présenté la puce D1, un carré de silicium de la taille d’une paume. La production du D1 a commencé au moins en mai 2024, avec la fabrication gérée par la Taiwan Semiconductor Manufacturing Company (TSMC) utilisant des nœuds semi-conducteurs de 7 nanomètres. Le D1 compte 50 milliards de transistors et une grande taille de puce de 645 millimètres carrés, promettant une grande puissance et efficacité pour les tâches complexes.

« Nous pouvons effectuer des calculs et des transferts de données simultanément, et notre ISA personnalisé, qui est l’architecture de l’ensemble d’instructions, est entièrement optimisé pour les charges de travail d’apprentissage automatique », a déclaré Ganesh Venkataramanan, ancien directeur senior du matériel Autopilot, lors de l’AI Day 2021 de Tesla. « C’est un pur apprentissage automatique. »

Bien que le D1 soit puissant, il ne correspond pas tout à fait à la puce A100 de Nvidia, qui utilise également un procédé de 7 nanomètres et contient 54 milliards de transistors avec une taille de puce plus grande de 826 millimètres carrés.

Pour atteindre une bande passante et une puissance de calcul plus élevées, l’équipe IA de Tesla a combiné 25 puces D1 en une seule tuile, fonctionnant comme un système informatique unifié. Chaque tuile offre 9 pétaflops de puissance de calcul et 36 téraoctets par seconde de bande passante, et inclut tout le matériel nécessaire pour l’alimentation, le refroidissement et le transfert de données. Six tuiles forment un rack, deux racks forment une armoire, et dix armoires créent un ExaPOD. Lors de l’AI Day 2022, Tesla a révélé des plans pour étendre Dojo en déployant plusieurs ExaPODs, formant le superordinateur.

Tesla développe également une puce D2 de nouvelle génération pour résoudre les goulots d’étranglement du flux d’informations. Le D2 intégrerait l’ensemble de la tuile Dojo sur une seule plaquette de silicium.

Tesla n’a pas divulgué combien de puces D1 il a commandées ou s’attend à recevoir, ni fourni de calendrier pour quand les superordinateurs Dojo fonctionneront avec des puces D1.

En réponse à une publication sur X en juin concernant la construction d’un refroidisseur GPU géant au Texas, Musk a déclaré que Tesla visait « moitié matériel IA Tesla, moitié Nvidia/autre » au cours des 18 prochains mois. L’« autre » pourrait inclure des puces AMD, selon les commentaires de Musk en janvier.

Que signifie Dojo pour Tesla ?

En contrôlant sa production de puces, Tesla pourrait potentiellement ajouter une puissance de calcul significative à ses programmes d’entraînement IA à moindre coût, surtout à mesure que la production s’intensifie avec TSMC.

Cette démarche pourrait également réduire la dépendance de Tesla envers les puces Nvidia, de plus en plus coûteuses et rares. Lors de l’appel aux résultats du deuxième trimestre de Tesla, Musk a exprimé son inquiétude quant à l’obtention d’un approvisionnement régulier en GPU, soulignant la nécessité de se concentrer davantage sur Dojo.

Malgré ces efforts, Tesla continue d’acheter des puces Nvidia pour son entraînement IA. En juin, Musk a publié sur X :

Sur les quelque 10 milliards de dollars de dépenses liées à l’IA que j’ai dit que Tesla ferait cette année, environ la moitié est interne, principalement l’ordinateur d’inférence IA conçu par Tesla et les capteurs présents dans toutes nos voitures, plus Dojo. Pour la construction des superclusters d’entraînement IA, le matériel Nvidia représente environ 2/3 du coût. Ma meilleure estimation actuelle pour les achats Nvidia par Tesla est de 3 à 4 milliards de dollars cette année.

— Elon Musk (@elonmusk) Juin 2024

« L’inférence compute » fait référence aux calculs IA en temps réel effectués par les véhicules Tesla, distincts du calcul d’entraînement géré par Dojo.

Dojo représente une entreprise risquée mais potentiellement gratifiante pour Tesla. Musk a reconnu que Tesla pourrait ne pas réussir avec Dojo, mais il l’envisage comme une pierre angulaire pour la division IA de Tesla, initialement adaptée pour l’étiquetage et l’entraînement de la vision par ordinateur pour le FSD et Optimus, le robot humanoïde de Tesla.

Les versions futures de Dojo pourraient être adaptées pour un entraînement IA à usage général, bien que cela nécessiterait de réécrire le logiciel actuellement conçu pour les GPU. Alternativement, Tesla pourrait louer sa puissance de calcul, à l’image d’AWS et d’Azure.

Lors des résultats du deuxième trimestre, Musk a mentionné voir « un chemin pour être compétitif avec Nvidia avec Dojo ». Un rapport de Morgan Stanley de septembre 2023 a suggéré que Dojo pourrait ajouter 500 milliards de dollars à la valeur marchande de Tesla en ouvrant de nouveaux flux de revenus dans les robotaxis et les services logiciels.

En essence, les puces de Dojo servent de police d’assurance pour Tesla, avec un potentiel de rendements significatifs.

Où en est Dojo ?

Reuters a rapporté que Tesla a commencé la production de Dojo en juillet 2023, mais une publication de Musk en juin 2023 indiquait que Dojo était « en ligne et exécutait des tâches utiles depuis quelques mois ».

Tesla prévoyait que Dojo se classerait parmi les cinq superordinateurs les plus puissants d’ici février 2024, bien que cela n’ait pas été confirmé publiquement, ce qui soulève des doutes sur sa réalisation. L’entreprise a également projeté que la puissance de calcul totale de Dojo atteindrait 100 exaflops d’ici octobre 2024. (Un exaflop équivaut à 1 quintillion d’opérations informatiques par seconde. Pour atteindre 100 exaflops, en supposant qu’un D1 peut atteindre 362 téraflops, Tesla aurait besoin de plus de 276 000 D1, ou environ 320 500 GPU Nvidia A100.)

En janvier 2024, Tesla s’est engagé à investir 500 millions de dollars pour construire un superordinateur Dojo dans sa gigafactory à Buffalo, New York.

En mai 2024, Musk a mentionné que la partie arrière de la gigafactory d’Austin de Tesla serait dédiée à un « cluster de superordinateur super dense refroidi par eau », qui s’est avéré être pour Cortex, et non Dojo.

Suite à l’appel aux résultats du deuxième trimestre de Tesla, Musk a publié sur X que l’équipe IA de Tesla utilise l’ordinateur IA Tesla HW4 (renommé AI4), le matériel présent dans les véhicules Tesla, dans la boucle d’entraînement avec les GPU Nvidia. Il a noté que la répartition est d’environ 90 000 Nvidia H100 plus 40 000 ordinateurs AI4.

« Et Dojo 1 aura environ 8 000 H100-équivalent d’entraînement en ligne d’ici la fin de l’année », a-t-il poursuivi. « Pas massif, mais pas trivial non plus. »

Tesla n’a pas confirmé si ces puces sont maintenant opérationnelles et font fonctionner Dojo. Lors de l’appel aux résultats du quatrième trimestre 2024 de l’entreprise, Dojo n’a pas été mentionné, mais Tesla a rapporté avoir achevé le déploiement de Cortex au quatrième trimestre, ce qui a permis la version 13 du FSD supervisé.

Cette histoire a été initialement publiée le 3 août 2024, et nous la mettrons à jour au fur et à mesure que de nouvelles informations se développeront.