Амбициозный план Элона Маска для суперкомпьютера Tesla Dojo AI.

На протяжении многих лет Илон Маск активно говорил о Dojo, суперкомпьютере с искусственным интеллектом, который лежит в основе амбиций Tesla в области ИИ. В июле 2024 года Маск подчеркнул его важность, объявив, что команда Tesla по ИИ усилит работу над Dojo в преддверии долгожданной презентации роботакси в октябре.

Итак, что такое Dojo и почему он так важен для долгосрочной стратегии Tesla?

По сути, Dojo — это специально разработанный суперкомпьютер Tesla, предназначенный для обучения нейронных сетей "Full Self-Driving" (FSD). Усовершенствование Dojo тесно связано с целью Tesla достичь полной автономности вождения и запустить сервис роботакси. В настоящее время FSD, установленная в сотнях тысяч автомобилей Tesla, может выполнять некоторые задачи автоматизированного вождения, но всё ещё требует внимания водителя-человека.

После презентации Cybercab в октябре Tesla планирует запустить автономный сервис такси в Остине в июне, используя собственный автопарк. Во время отчёта о доходах за четвёртый квартал и весь 2024 год в январе Tesla объявила о планах внедрить FSD без надзора для клиентов в США в 2025 году.

Несмотря на более ранние заявления Маска о том, что Dojo является ключом к амбициям Tesla в области полного автономного вождения, он стал менее разговорчив на эту тему по мере приближения цели. С августа 2024 года внимание переключилось на Cortex, новый суперкластер для обучения ИИ в штаб-квартире Tesla в Остине. Маск описал Cortex как обладающий "огромным хранилищем для видеообучения FSD и Optimus."

Хотя в презентации для акционеров за четвёртый квартал Tesla предоставила обновления по Cortex, о Dojo не было сказано ни слова. Tesla явно делает крупные инвестиции в ИИ, включая Dojo и теперь Cortex, чтобы достичь автономности как в автомобилях, так и в гуманоидных роботах. В условиях всё более конкурентного рынка электромобилей будущий успех Tesla во многом зависит от освоения этих технологий.

История Dojo от Tesla

Видение Илона Маска для Tesla выходит за рамки простого производства автомобилей, солнечных панелей и систем хранения энергии. Он хочет, чтобы Tesla стала лидером в области ИИ, пионером в технологиях автономного вождения, эмулируя человеческое восприятие.

В отличие от многих других компаний, разрабатывающих технологии автономных автомобилей, которые используют комбинацию сенсоров, таких как лидар, радар и камеры, а также карты высокого разрешения, Tesla стремится достичь полной автономности, используя только камеры. Эти камеры собирают визуальные данные, которые затем обрабатываются продвинутыми нейронными сетями для принятия решений в реальном времени.

На первом AI Day Tesla в 2021 году бывший руководитель отдела ИИ Андрей Карпати сравнил цель компании с созданием "синтетического животного с нуля". Маск упоминал Dojo ещё в 2019 году, но официально он был представлен на AI Day.

В то время как такие компании, как Waymo от Alphabet, успешно коммерциализировали автономные автомобили уровня 4, система Tesla всё ещё требует присутствия человека за рулём. Более 1,8 миллиона человек подписались на FSD от Tesla, стоимость которой варьируется от $8,000 до $15,000. Обещание заключается в том, что ИИ, обученный Dojo, будет распространяться среди клиентов через обновления по воздуху. Обширные данные, собранные с автомобилей FSD — миллионы миль видеоматериалов — используются для обучения и совершенствования системы.

Однако некоторые эксперты отрасли ставят под сомнение эффективность этого подхода, основанного на больших объёмах данных. Ананд Рагхунатан, профессор Университета Пердью, сказал TechCrunch: "Во-первых, есть экономические ограничения, и вскоре это станет слишком дорого. Некоторые утверждают, что у нас может закончиться значимая информация для обучения моделей. Больший объём данных не обязательно означает больше информации, поэтому всё зависит от того, содержат ли эти данные полезную информацию для создания лучшей модели, и способен ли процесс обучения извлечь эту информацию для улучшения модели."

Несмотря на эти опасения, тенденция к использованию большего количества данных, похоже, сохраняется, по крайней мере, на данный момент. А с увеличением объёма данных возникает потребность в большей вычислительной мощности для их хранения и обработки, и здесь на сцену выходит Dojo, суперкомпьютер.

Что такое суперкомпьютер?

Dojo — это суперкомпьютерная система Tesla, разработанная специально для обучения моделей ИИ, в частности для FSD. Название "Dojo" отсылает к тренировочным залам боевых искусств.

Суперкомпьютер состоит из тысяч меньших компьютеров, называемых узлами, каждый из которых оснащён процессором (CPU) и графическим процессором (GPU). CPU управляет узлом, в то время как GPU выполняет сложные задачи, такие как разделение операций и их одновременная обработка. GPU критически важны для задач машинного обучения, таких как симуляции для обучения FSD. Они также обеспечивают работу больших языковых моделей, что объясняет, почему Nvidia стала самой дорогой компанией в мире благодаря росту генеративного ИИ.

В настоящее время Tesla использует GPU от Nvidia для обучения своего ИИ, но стремится диверсифицировать источники оборудования из-за высокой стоимости и ограниченной доступности чипов Nvidia.

Зачем Tesla нужен суперкомпьютер?

Подход Tesla, основанный только на визуальных данных, требует суперкомпьютера. Нейронные сети, которые обеспечивают работу FSD, обучаются на огромных объёмах данных о вождении, чтобы распознавать и классифицировать объекты вокруг автомобиля и принимать решения о вождении. Когда FSD используется, эти сети должны непрерывно собирать и обрабатывать визуальные данные с такой скоростью, которая соперничает с человеческим восприятием.

По сути, Tesla стремится создать цифровую копию человеческой зрительной коры и функций мозга. Для этого Tesla необходимо хранить и обрабатывать огромные объёмы видеоданных от своего глобального автопарка и проводить бесчисленные симуляции для обучения своей модели ИИ.

Фотографии Dojo pic.twitter.com/Lu8YiZXo8c

— Илон Маск (@elonmusk) 23 июля 2024

В настоящее время Tesla полагается на Nvidia для своего тренировочного компьютера Dojo, но работает над собственным оборудованием для повышения эффективности и снижения затрат. Цель — разработать оборудование, которое увеличивает пропускную способность и снижает задержки, отходя от стандартного оборудования GPU.

Расскажите подробнее об этих чипах

Tesla, подобно Apple, верит в разработку оборудования и программного обеспечения, которые работают вместе безупречно. Эта философия побудила Tesla разработать собственные чипы для Dojo.

На AI Day в 2021 году Tesla представила чип D1, квадратный кусок кремния размером с ладонь. Производство D1 началось по крайней мере в мае 2024 года, и его изготовлением занимается Taiwan Semiconductor Manufacturing Company (TSMC) с использованием 7-нанометровых полупроводниковых узлов. D1 содержит 50 миллиардов транзисторов и имеет большую площадь кристалла — 645 квадратных миллиметров, обещающую высокую мощность и эффективность для сложных задач.

"Мы можем выполнять вычисления и передачу данных одновременно, а наша собственная архитектура набора команд (ISA) полностью оптимизирована для рабочих нагрузок машинного обучения," — сказал Ганеш Венкатараманан, бывший старший директор по оборудованию для Autopilot, на AI Day Tesla 2021. "Это чистое машинное обучение."

Хотя D1 мощный, он не совсем соответствует чипу A100 от Nvidia, который также использует 7-нанометровый процесс и содержит 54 миллиарда транзисторов с большей площадью кристалла — 826 квадратных миллиметров.

Для достижения большей пропускной способности и вычислительной мощности команда Tesla по ИИ объединила 25 чипов D1 в один тайл, функционирующий как единая компьютерная система. Каждый тайл обеспечивает 9 петафлопс вычислительной мощности и 36 терабайт в секунду пропускной способности, включая всё необходимое оборудование для питания, охлаждения и передачи данных. Шесть тайлов составляют одну стойку, две стойки формируют шкаф, а десять шкафов создают ExaPOD. На AI Day 2022 Tesla раскрыла планы по масштабированию Dojo путём развёртывания нескольких ExaPOD, формирующих суперкомпьютер.

Tesla также разрабатывает чип следующего поколения D2, чтобы устранить узкие места в потоке информации. D2 объединит весь тайл Dojo на одном кремниевом вафере.

Tesla не раскрыла, сколько чипов D1 она заказала или ожидает получить, а также не предоставила сроки, когда суперкомпьютеры Dojo будут работать на чипах D1.

В ответ на пост в X в июне о создании гигантского кулера для GPU в Техасе Маск сказал, что Tesla стремится к "половине оборудования ИИ Tesla, половине Nvidia/других" в течение следующих 18 месяцев. "Другие" могут включать чипы AMD, согласно комментариям Маска в январе.

Что означает Dojo для Tesla?

Контролируя производство своих чипов, Tesla потенциально может значительно увеличить вычислительную мощность своих программ обучения ИИ с меньшими затратами, особенно по мере масштабирования производства с TSMC.

Этот шаг также может снизить зависимость Tesla от всё более дорогих и дефицитных чипов Nvidia. Во время отчёта о доходах за второй квартал Маск выразил озабоченность по поводу обеспечения стабильных поставок GPU, подчеркнув необходимость уделять больше внимания Dojo.

Несмотря на эти усилия, Tesla всё ещё закупает чипы Nvidia для обучения ИИ. В июне Маск написал в X:

Из примерно $10 млрд расходов на ИИ, которые, как я сказал, Tesla потратит в этом году, около половины — внутренние, в основном это компьютер для вывода ИИ, разработанный Tesla, и датчики, присутствующие во всех наших автомобилях, плюс Dojo. Для создания суперкластеров обучения ИИ оборудование Nvidia составляет около 2/3 стоимости. Моя текущая оценка закупок Nvidia компанией Tesla — от $3 млрд до $4 млрд в этом году.

— Илон Маск (@elonmusk) Июнь 2024

"Выводные вычисления" относятся к вычислениям ИИ в реальном времени, выполняемым автомобилями Tesla, в отличие от тренировочных вычислений, выполняемых Dojo.

Dojo представляет собой рискованное, но потенциально прибыльное предприятие для Tesla. Маск признал, что Tesla может не добиться успеха с Dojo, но он видит его как краеугольный камень для подразделения ИИ Tesla, изначально предназначенного для маркировки компьютерного зрения и обучения для FSD и Optimus, гуманоидного робота Tesla.

Будущие версии Dojo могут быть адаптированы для универсального обучения ИИ, хотя это потребует переписывания программного обеспечения, изначально разработанного для GPU. В качестве альтернативы Tesla могла бы сдавать в аренду свои вычислительные мощности, подобно AWS и Azure.

Во время отчёта о доходах за второй квартал Маск упомянул, что видит "путь к конкуренции с Nvidia с помощью Dojo". Отчёт Morgan Stanley за сентябрь 2023 года предположил, что Dojo может добавить $500 млрд к рыночной стоимости Tesla за счёт открытия новых источников дохода в роботакси и программных услугах.

По сути, чипы Dojo служат страховкой для Tesla с потенциалом значительной отдачи.

Как далеко продвинулся Dojo?

Reuters сообщила, что Tesla начала производство Dojo в июле 2023 года, но пост Маска в июне 2023 года указывает, что Dojo был "в сети и выполнял полезные задачи уже несколько месяцев."

Tesla ожидала, что Dojo войдёт в пятёрку самых мощных суперкомпьютеров к февралю 2024 года, хотя это публично не подтверждено, что вызывает сомнения в достижении этой цели. Компания также прогнозировала, что общая вычислительная мощность Dojo достигнет 100 эксафлопс к октябрю 2024 года. (Один эксафлопс равен 1 квинтиллиону компьютерных операций в секунду. Чтобы достичь 100 эксафлопс, при условии, что один D1 обеспечивает 362 терафлопс, Tesla потребуется более 276 000 чипов D1 или около 320 500 GPU Nvidia A100.)

В январе 2024 года Tesla выделила $500 млн на строительство суперкомпьютера Dojo на своей гигафабрике в Буффало, штат Нью-Йорк.

В мае 2024 года Маск упомянул, что задняя часть гигафабрики Tesla в Остине будет предназначена для "сверхплотного водоохлаждаемого суперкомпьютерного кластера", который, как оказалось, предназначен для Cortex, а не для Dojo.

После отчёта о доходах за второй квартал Маск написал в X, что команда Tesla по ИИ использует компьютер Tesla HW4 AI (переименованный в AI4), оборудование, установленное в автомобилях Tesla, в цикле обучения вместе с GPU Nvidia. Он отметил, что соотношение составляет примерно 90 000 Nvidia H100 и 40 000 компьютеров AI4.

"И Dojo 1 будет иметь примерно 8 тысяч эквивалентов H100 для обучения к концу года," — продолжил он. "Не огромно, но и не тривиально."

Tesla не подтвердила, работают ли эти чипы сейчас и управляют ли они Dojo. Во время отчёта о доходах за четвёртый квартал 2024 года Dojo не упоминался, но Tesla сообщила о завершении развёртывания Cortex в четвёртом квартале, что позволило внедрить версию 13 FSD с надзором.

Эта история впервые опубликована 3 августа 2024 года, и мы будем обновлять её по мере появления новой информации.