O ambicioso plano de Elon Musk para o supercomputador de Tesla Dojo AI revelado

Durante anos, Elon Musk tem falado abertamente sobre o Dojo, o supercomputador de IA no centro das ambições de IA da Tesla. Em julho de 2024, Musk enfatizou sua importância, anunciando que a equipe de IA da Tesla intensificaria os esforços no Dojo antes da tão aguardada revelação do robotaxi em outubro.

Então, o que exatamente é o Dojo, e por que ele é tão crucial para a estratégia de longo prazo da Tesla?

Em essência, o Dojo é o supercomputador personalizado da Tesla projetado para treinar suas redes neurais de "Full Self-Driving" (FSD). O aprimoramento do Dojo está intimamente ligado ao objetivo da Tesla de alcançar capacidades de direção totalmente autônomas e lançar um serviço de robotaxi. Atualmente, o FSD, instalado em centenas de milhares de veículos Tesla, pode realizar certas tarefas de condução automatizada, mas ainda requer a atenção de um motorista humano.

Após a revelação do Cybercab em outubro, a Tesla está pronta para lançar um serviço de transporte autônomo em Austin em junho, usando sua própria frota de veículos. Durante a teleconferência de resultados do quarto trimestre e do ano inteiro de 2024 em janeiro, a Tesla anunciou planos para introduzir o FSD sem supervisão para clientes dos EUA em 2025.

Apesar das afirmações anteriores de Musk de que o Dojo era a chave para as ambições de direção totalmente autônoma da Tesla, ele tem sido relativamente silencioso sobre o assunto conforme o objetivo se aproxima. Desde agosto de 2024, a conversa mudou para o Cortex, o novo superaglomerado de treinamento de IA da Tesla em sua sede em Austin. Musk descreveu o Cortex como tendo "armazenamento massivo para treinamento de vídeo de FSD & Optimus."

Embora o deck de acionistas do quarto trimestre da Tesla tenha fornecido atualizações sobre o Cortex, ele foi silencioso sobre o Dojo. A Tesla está claramente investindo pesadamente em IA, incluindo o Dojo e agora o Cortex, para alcançar autonomia em veículos e robôs humanoides. Com o mercado de veículos elétricos se tornando cada vez mais competitivo, o sucesso futuro da Tesla depende fortemente de dominar essas tecnologias.

A História do Dojo da Tesla

A visão de Elon Musk para a Tesla vai além de apenas fabricar carros, painéis solares e sistemas de armazenamento de energia. Ele quer que a Tesla seja uma potência em IA, pioneira em tecnologia de condução autônoma ao emular a percepção humana.

Ao contrário de muitas outras empresas de tecnologia de veículos autônomos que dependem de uma combinação de sensores como lidar, radar e câmeras, além de mapas de alta definição, a Tesla pretende alcançar autonomia total usando apenas câmeras. Essas câmeras capturam dados visuais, que são então processados por redes neurais avançadas para tomar decisões de condução em tempo real.

No primeiro AI Day da Tesla em 2021, o ex-chefe de IA, Andrej Karpathy, comparou o objetivo da empresa a construir "um animal sintético do zero." Musk vinha dando dicas sobre o Dojo desde 2019, mas ele foi oficialmente apresentado no AI Day.

Enquanto empresas como a Waymo, da Alphabet, comercializaram com sucesso veículos autônomos de Nível 4, o sistema da Tesla ainda exige um humano ao volante. Mais de 1,8 milhão de pessoas se inscreveram no FSD da Tesla, que pode custar de $8.000 a $15.000. A promessa é que a IA treinada pelo Dojo será implementada para os clientes por meio de atualizações over-the-air. Os extensos dados coletados dos veículos FSD — milhões de milhas de filmagens de vídeo — são usados para treinar e refinar o sistema.

No entanto, alguns especialistas da indústria questionam a eficácia dessa abordagem intensiva em dados. Anand Raghunathan, professor da Purdue University, disse à TechCrunch: "Em primeiro lugar, há uma restrição econômica, e em breve ficará muito caro fazer isso. Algumas pessoas afirmam que podemos realmente ficar sem dados significativos para treinar os modelos. Mais dados não significam necessariamente mais informações, então depende se esses dados têm informações úteis para criar um modelo melhor, e se o processo de treinamento é capaz de destilar essas informações em um modelo melhor."

Apesar dessas preocupações, a tendência de usar mais dados parece estar se mantendo, pelo menos por enquanto. E com mais dados vem a necessidade de mais poder computacional para armazenar e processar tudo isso, que é onde o Dojo, o supercomputador, entra em ação.

O que é um Supercomputador?

O Dojo é o sistema de supercomputador da Tesla, projetado especificamente para treinar modelos de IA, particularmente para o FSD. O nome "Dojo" é uma homenagem aos espaços de treinamento de artes marciais.

Um supercomputador consiste em milhares de computadores menores chamados nós, cada um com uma CPU e GPU. A CPU gerencia o nó, enquanto a GPU lida com tarefas complexas, como dividir operações e trabalhar nelas simultaneamente. As GPUs são cruciais para tarefas de aprendizado de máquina, como as usadas em simulações de treinamento do FSD. Elas também alimentam modelos de linguagem grandes, o que explica por que a Nvidia se tornou a empresa mais valiosa do planeta devido ao aumento da IA generativa.

A Tesla atualmente usa GPUs da Nvidia para treinar sua IA, mas está buscando diversificar suas fontes de hardware devido ao alto custo e à disponibilidade limitada dos chips da Nvidia.

Por que a Tesla Precisa de um Supercomputador?

A abordagem baseada apenas em visão da Tesla exige um supercomputador. As redes neurais que alimentam o FSD são treinadas com grandes quantidades de dados de condução para reconhecer e classificar objetos ao redor do veículo e tomar decisões de condução. Quando o FSD está em uso, essas redes devem coletar e processar continuamente dados visuais em velocidades que rivalizam com a percepção humana.

Em essência, a Tesla pretende criar uma réplica digital do córtex visual humano e das funções cerebrais. Para alcançar isso, a Tesla precisa armazenar e processar grandes quantidades de dados de vídeo de sua frota global de veículos e executar inúmeras simulações para treinar seu modelo de IA.

Fotos do Dojo pic.twitter.com/Lu8YiZXo8c

— Elon Musk (@elonmusk) 23 de julho de 2024

A Tesla depende da Nvidia para seu atual computador de treinamento Dojo, mas está trabalhando em seu próprio hardware personalizado para aumentar a eficiência e reduzir custos. O objetivo é desenvolver hardware que aumente a largura de banda e reduza as latências, afastando-se do hardware GPU padrão.

Conte-me Mais Sobre Esses Chips

A Tesla, assim como a Apple, acredita em projetar hardware e software que funcionem perfeitamente juntos. Essa filosofia levou a Tesla a desenvolver seus próprios chips para o Dojo.

No AI Day de 2021, a Tesla apresentou o chip D1, um quadrado de silício do tamanho da palma da mão. A produção do D1 começou pelo menos em maio de 2024, com a fabricação gerenciada pela Taiwan Semiconductor Manufacturing Company (TSMC) usando nós semicondutores de 7 nanômetros. O D1 possui 50 bilhões de transistores e um grande tamanho de die de 645 milímetros quadrados, prometendo alta potência e eficiência para tarefas complexas.

"Podemos realizar computação e transferência de dados simultaneamente, e nossa ISA personalizada, que é a arquitetura de conjunto de instruções, é totalmente otimizada para cargas de trabalho de aprendizado de máquina," disse Ganesh Venkataramanan, ex-diretor sênior de hardware do Autopilot, no AI Day da Tesla de 2021. "Isso é aprendizado de máquina puro."

Embora o D1 seja poderoso, ele não corresponde exatamente ao chip A100 da Nvidia, que também usa um processo de 7 nanômetros e contém 54 bilhões de transistores com um tamanho de die maior de 826 milímetros quadrados.

Para alcançar maior largura de banda e poder de computação, a equipe de IA da Tesla combinou 25 chips D1 em uma única telha, funcionando como um sistema de computador unificado. Cada telha oferece 9 petaflops de poder de computação e 36 terabytes por segundo de largura de banda, e inclui todo o hardware necessário para energia, refrigeração e transferência de dados. Seis telhas formam um rack, dois racks formam um gabinete, e dez gabinetes criam um ExaPOD. No AI Day de 2022, a Tesla revelou planos para escalar o Dojo implantando múltiplos ExaPODs, formando o supercomputador.

A Tesla também está desenvolvendo um chip D2 de próxima geração para abordar gargalos no fluxo de informações. O D2 integraria toda a telha do Dojo em uma única pastilha de silício.

A Tesla não divulgou quantos chips D1 encomendou ou espera receber, nem forneceu um cronograma para quando os supercomputadores Dojo rodarão com chips D1.

Em resposta a uma postagem de junho no X sobre a construção de um cooler de GPU gigante no Texas, Musk disse que a Tesla visa "metade hardware de IA da Tesla, metade Nvidia/outros" nos próximos 18 meses. O "outros" poderia incluir chips AMD, de acordo com comentários de Musk em janeiro.

O que o Dojo Significa para a Tesla?

Ao controlar sua produção de chips, a Tesla poderia potencialmente adicionar poder de computação significativo aos seus programas de treinamento de IA a um custo menor, especialmente à medida que a produção escala com a TSMC.

Essa mudança também poderia reduzir a dependência da Tesla dos chips cada vez mais caros e escassos da Nvidia. Durante a teleconferência de resultados do segundo trimestre da Tesla, Musk expressou preocupação sobre garantir suprimentos estáveis de GPUs, enfatizando a necessidade de focar mais no Dojo.

Apesar desses esforços, a Tesla ainda está comprando chips Nvidia para seu treinamento de IA. Em junho, Musk postou no X:

Dos cerca de $10 bilhões em despesas relacionadas à IA que eu disse que a Tesla faria este ano, cerca de metade é interna, principalmente o computador de inferência de IA projetado pela Tesla e sensores presentes em todos os nossos carros, além do Dojo. Para construir os superaglomerados de treinamento de IA, o hardware da Nvidia representa cerca de 2/3 do custo. Minha melhor estimativa atual para as compras da Nvidia pela Tesla é de $3 bilhões a $4 bilhões este ano.

— Elon Musk (@elonmusk) Junho de 2024

"Computação de inferência" refere-se às computações de IA em tempo real realizadas pelos veículos Tesla, distintas da computação de treinamento gerenciada pelo Dojo.

O Dojo representa um empreendimento arriscado, mas potencialmente recompensador para a Tesla. Musk reconheceu que a Tesla pode não ter sucesso com o Dojo, mas ele o enxerga como uma pedra angular para a divisão de IA da Tesla, inicialmente adaptada para rotulagem de visão computacional e treinamento para FSD e Optimus, o robô humanoide da Tesla.

Versões futuras do Dojo poderiam ser adaptadas para treinamento de IA de propósito geral, embora isso exigisse reescrever o software atualmente projetado para GPUs. Alternativamente, a Tesla poderia alugar seu poder computacional, semelhante à AWS e Azure.

Durante os resultados do segundo trimestre, Musk mencionou ver "um caminho para ser competitivo com a Nvidia com o Dojo." Um relatório de setembro de 2023 da Morgan Stanley sugeriu que o Dojo poderia adicionar $500 bilhões ao valor de mercado da Tesla ao abrir novas fontes de receita em robotaxis e serviços de software.

Em essência, os chips do Dojo servem como uma apólice de seguro para a Tesla, com potencial para retornos significativos.

Como Está o Progresso do Dojo?

A Reuters relatou que a Tesla começou a produção do Dojo em julho de 2023, mas uma postagem de junho de 2023 de Musk indicou que o Dojo estava "online e executando tarefas úteis há alguns meses."

A Tesla antecipou que o Dojo estaria entre os cinco supercomputadores mais poderosos até fevereiro de 2024, embora isso não tenha sido confirmado publicamente, levantando dúvidas sobre sua realização. A empresa também projetou que o poder de computação total do Dojo alcançaria 100 exaflops até outubro de 2024. (Um exaflop equivale a 1 quintilhão de operações computacionais por segundo. Para alcançar 100 exaflops, assumindo que um D1 pode atingir 362 teraflops, a Tesla precisaria de mais de 276.000 D1s, ou cerca de 320.500 GPUs Nvidia A100.)

Em janeiro de 2024, a Tesla comprometeu $500 milhões para construir um supercomputador Dojo em sua gigafábrica em Buffalo, Nova York.

Em maio de 2024, Musk mencionou que a parte traseira da gigafábrica da Tesla em Austin seria dedicada a um "aglomerado de supercomputadores super denso refrigerado a água," que acabou sendo para o Cortex, não para o Dojo.

Após a teleconferência de resultados do segundo trimestre da Tesla, Musk postou no X que a equipe de IA da Tesla está usando o computador de IA Tesla HW4 (renomeado AI4), o hardware encontrado nos veículos Tesla, no ciclo de treinamento com GPUs Nvidia. Ele observou que a divisão é de aproximadamente 90.000 H100s da Nvidia mais 40.000 computadores AI4.

"E o Dojo 1 terá aproximadamente 8k de treinamento equivalente ao H100 online até o final do ano," ele continuou. "Não é massivo, mas também não é trivial."

A Tesla não confirmou se esses chips estão agora operacionais e rodando o Dojo. Durante a teleconferência de resultados do quarto trimestre de 2024 da empresa, o Dojo não foi mencionado, mas a Tesla relatou a conclusão da implantação do Cortex no quarto trimestre, o que possibilitou a versão 13 do FSD supervisionado.

Esta história foi originalmente publicada em 3 de agosto de 2024, e será atualizada à medida que novas informações surgirem.