Tesla Dojo AI Supercomputer에 대한 Elon Musk의 야심 찬 계획 공개

수년 동안 Elon Musk는 Tesla의 AI 야망의 중심부에있는 AI 슈퍼 컴퓨터 인 Dojo에 대해 보컬을 해왔습니다. 2024 년 7 월, Musk는 Tesla의 AI 팀이 10 월에 많이 기대되는 Robotaxi 공개에 앞서 Dojo에 대한 노력을 강화할 것이라고 발표하면서 중요성을 강조했습니다.

그렇다면 Dojo가 정확히 무엇이며 왜 Tesla의 장기 전략에 중요한가?

본질적으로, Dojo는 "Flom Self-Driving (FSD) 신경망을 훈련시키기 위해 설계된 Tesla의 맞춤형 슈퍼 컴퓨터입니다. Dojo의 향상은 Tesla의 전체 자율 주행 기능을 달성하고 Robotaxi 서비스를 시작하려는 목표와 밀접한 관련이 있습니다. 현재 수십만 개의 테슬라 차량에 설치된 FSD는 특정 자동 운전 작업을 처리 할 수 ​​있지만 여전히 인간 운전자의 관심이 필요합니다.

10 월 Cybercab 공개에 이어 Tesla는 올해 6 월 오스틴에서 자체 차량을 사용하여 자율 주행 승용 서비스를 시작할 예정입니다. 1 월에 2024 년 4 분기 및 연간 수입 전화 기간 동안 Tesla는 2025 년 미국 고객에게 감독되지 않은 FSD를 도입 할 계획을 발표했습니다.

Dojo가 Tesla의 자율 주행 야망의 열쇠라고 Musk의 초기 주장에도 불구하고, 그는 목표가 다가 오면서 주제에 대해 비교적 조용했습니다. 2024 년 8 월부터 대화는 오스틴 본사에서 테슬라의 새로운 AI 훈련 슈퍼 클러스터 인 피질로 옮겨졌습니다. 머스크는 피질을 "FSD & Optimus의 비디오 교육을위한 대규모 저장소"라고 설명했다.

Tesla의 Q4 주주 데크는 피질에 대한 업데이트를 제공했지만 Dojo에서는 침묵했습니다. Tesla는 Dojo 및 현재 피질을 포함하여 AI에 크게 투자하여 차량과 휴머노이드 로봇 모두에서 자율성을 달성하고 있습니다. EV 시장이 점점 더 경쟁력이 커지면서 Tesla의 미래 성공은 이러한 기술을 마스터하는 데 크게 달려 있습니다.

테슬라의 도조 뒷이야기

Tesla에 대한 Elon Musk의 비전은 자동차, 태양 전지판 및 에너지 저장 시스템을 제조하는 것 이상으로 확장됩니다. 그는 테슬라가 AI 강국이되기를 원하며, 인간의 인식을 모방함으로써 자기 운전 기술을 개척합니다.

Tesla는 고화질 맵과 함께 Lidar, Radar 및 Cameras와 같은 센서를 혼합하는 다른 많은 자율 차량 기술 회사와 달리 카메라 만 사용하여 전체 자율성을 달성하는 것을 목표로합니다. 이 카메라는 시각적 데이터를 캡처 한 후 고급 신경망에 의해 처리되어 실시간 주행 결정을 내립니다.

Andrej Karpathy의 전 AI 책임자 인 2021 년 테슬라의 첫 AI Day에서 회사의 목표는 "처음부터 합성 동물"을 건설하려는 목표를 비유했습니다. 머스크는 2019 년부터 Dojo에서 암시했지만 AI Day에 공식적으로 공개되었습니다.

Alphabet 's Waymo와 같은 회사는 레벨 4 자율 주행 차량을 성공적으로 상용화 한 반면, Tesla의 시스템은 여전히 ​​바퀴 뒤에 인간이 필요합니다. 180 만 명이 넘는 사람들이 Tesla의 FSD에 가입했으며, 이는 8,000 달러에서 15,000 달러에이를 수 있습니다. 약속은 Dojo 훈련 AI가 오버 공중 업데이트를 통해 고객에게 출시 될 것입니다. FSD 차량 (수백만 마일의 비디오 영상)에서 수집 한 광범위한 데이터는 시스템을 교육하고 개선하는 데 사용됩니다.

그러나 일부 업계 전문가들은이 데이터가 많은 접근 방식의 효능에 의문을 제기합니다. Purdue University 교수 인 Anand Raghunathan은 TechCrunch에 말했다. "우선, 경제적 제약이 있기 때문에 곧 그렇게하기에는 너무 비싸게 될 것입니다. 어떤 사람들은 실제로 모델을 훈련시키기 위해 의미있는 데이터가 부족할 수 있다고 주장합니다. 더 많은 데이터가 반드시 더 많은 정보를 의미하지는 않기 때문에 데이터가 더 나은 모델을 만들 수있는 정보가 더 유용 할 수 있는지 여부는 더 나은 모델을 만들 수 있는지 여부에 따라 정보를 얻을 수 있습니다.

이러한 우려에도 불구하고, 더 많은 데이터에 대한 추세는 적어도 지금은 고집되고있는 것으로 보인다. 그리고 더 많은 데이터를 통해 슈퍼 컴퓨터 인 Dojo가 작동하는 곳인 모든 것을 저장하고 처리 할 수있는 더 많은 계산 능력이 필요합니다.

슈퍼 컴퓨터는 무엇입니까?

Dojo는 Tesla의 슈퍼 컴퓨터 시스템으로, 특히 FSD 용 AI 모델을 훈련시키기 위해 특별히 설계되었습니다. "Dojo"라는 이름은 무술 훈련 공간의 끄덕임입니다.

슈퍼 컴퓨터는 각각 CPU와 GPU를 가진 노드라는 수천 개의 작은 컴퓨터로 구성됩니다. CPU는 노드를 관리하는 반면 GPU는 작업을 분할 및 동시에 작업하는 것과 같은 복잡한 작업을 처리합니다. GPU는 FSD 교육 시뮬레이션에 사용되는 것과 같은 기계 학습 작업에 중요합니다. 그들은 또한 큰 언어 모델에 전력을 공급하여 Nvidia가 생성 AI의 부상으로 인해 지구상에서 가장 귀중한 회사가 된 이유를 설명합니다.

Tesla는 현재 NVIDIA GPU를 사용하여 AI를 훈련 시키지만 NVIDIA 칩의 높은 비용과 제한된 가용성으로 인해 하드웨어 소스를 다각화하려고합니다.

Tesla는 왜 슈퍼 컴퓨터가 필요합니까?

Tesla의 비전 전용 접근 방식은 슈퍼 컴퓨터가 필요합니다. 전원 FSD를위한 신경망은 차량 주변의 물체를 인식하고 분류하고 운전 결정을 내리기 위해 대량의 운전 데이터에 대해 교육을받습니다. FSD가 사용될 때, 이러한 네트워크는 인간의 인식과 경쟁하는 속도로 시각 데이터를 지속적으로 수집하고 처리해야합니다.

본질적으로 Tesla는 인간 시각 피질 및 뇌 기능의 디지털 복제본을 만드는 것을 목표로합니다. 이를 달성하기 위해 Tesla는 전 세계 차량 차량에서 방대한 양의 비디오 데이터를 저장하고 처리하고 AI 모델을 훈련시키기 위해 수많은 시뮬레이션을 실행해야합니다.

dojo pics pic.twitter.com/lu8yizxo8c

- Elon Musk (@elonmusk) 2024 년 7 월 23 일

Tesla는 현재 Dojo Training Computer의 NVIDIA에 의존하지만 효율성을 높이고 비용을 줄이기 위해 자체 사용자 정의 하드웨어 작업을하고 있습니다. 목표는 대역폭을 높이고 대기 시간을 줄이고 표준 GPU 하드웨어에서 멀어지게하는 하드웨어를 개발하는 것입니다.

이 칩에 대해 자세히 알려주세요

Apple과 마찬가지로 Tesla는 원활하게 함께 작동하는 하드웨어 및 소프트웨어를 설계한다고 믿습니다. 이 철학으로 Tesla는 Dojo를위한 자체 칩을 개발하게되었습니다.

2021 년 AI Day에서 Tesla는 손바닥 크기의 실리콘 광장 인 D1 칩을 소개했습니다. D1의 생산은 2024 년 5 월에 시작되었으며, 대만 반도체 제조 회사 (TSMC)가 7 개의 나노 미터 반도체 노드를 사용하여 처리했습니다. D1은 500 억 개의 트랜지스터와 645 밀리미터의 대량 크기를 자랑하며, 복잡한 작업에 대한 높은 전력과 효율성을 유망합니다.

Tesla의 2021 AI Day의 Autopilot Hardware의 전 선임 디렉터 인 Ganesh Venkataramanan은“우리는 컴퓨팅 및 데이터 전송을 동시에 수행 할 수 있으며, 지시 세트 아키텍처 인 Custom ISA는 기계 학습 워크로드에 완전히 최적화되어 있습니다. "이것은 순수한 기계 학습입니다."

D1은 강력하지만 NVIDIA의 A100 칩과 일치하지는 않습니다. NVIDIA의 A100 칩은 7 나노 미터 공정을 사용하고 826 제곱 밀리미터의 더 큰 다이 크기의 540 억 트랜지스터를 포함합니다.

더 높은 대역폭과 컴퓨팅 전력을 달성하기 위해 Tesla의 AI 팀은 25 개의 D1 칩을 단일 타일로 결합하여 통합 컴퓨터 시스템으로 작동합니다. 각 타일은 대역폭의 초당 9 개의 페타 플롭과 36 개의 테라 바이트를 제공하며 전력, 냉각 및 데이터 전송에 필요한 모든 하드웨어를 포함합니다. 6 개의 타일은 1 개의 랙을 구성하고, 2 개의 랙이 캐비닛을 형성하고, 10 개의 캐비닛은 exapod를 만듭니다. 2022 년 AI Day에서 Tesla는 여러 exapod를 배치하여 Supercomputer를 형성하여 Dojo를 확장 할 계획을 공개했습니다.

Tesla는 또한 정보 흐름 병목 현상을 해결하기 위해 차세대 D2 칩을 개발하고 있습니다. D2는 전체 도조 타일을 단일 실리콘 웨이퍼에 통합합니다.

Tesla는 주문한 D1 칩 수를 공개하거나받을 것으로 예상하지 않았으며 Dojo SuperComputers가 D1 칩에서 실행할 때의 타임 라인을 제공하지 않았습니다.

텍사스에 거대한 GPU 쿨러를 구축하는 것에 대한 X의 6 월 포스트에 대한 응답으로 Musk는 Tesla가 향후 18 개월 동안 "Half Tesla AI 하드웨어, 절반 Nvidia/Other"를 목표로했다고 말했다. Musk의 1 월 의견에 따르면 "기타"에는 AMD 칩이 포함될 수 있습니다.

Dojo는 Tesla에게 무엇을 의미합니까?

Tesla는 칩 생산을 제어함으로써 특히 TSMC와의 생산 규모로 저렴한 비용으로 AI 교육 프로그램에 상당한 컴퓨팅 전력을 추가 할 수 있습니다.

이 움직임은 또한 Nvidia의 점점 비싸고 부족한 칩에 대한 Tesla의 의존도를 줄일 수 있습니다. Tesla의 2/4 소득 전화 중에 Musk는 꾸준한 GPU 공급 장치 확보에 대한 우려를 표명하여 Dojo에 더 집중해야 할 필요성을 강조했습니다.

이러한 노력에도 불구하고 Tesla는 여전히 AI 교육을 위해 Nvidia 칩을 구매하고 있습니다. 6 월에 머스크는 X에 게시했습니다.

AI 관련 지출의 약 1,000 달러 중 Tesla는 올해에 약 절반이 내부이며, 주로 Tesla가 설계 한 AI 추론 컴퓨터 및 모든 자동차에 존재하는 센서와 Dojo가 있습니다. AI 교육 슈퍼 클러스터를 구축하려면 NVIDIA 하드웨어는 비용의 약 2/3입니다. Tesla의 Nvidia 구매에 대한 나의 현재 가장 좋은 추측은 올해 $ 3B에서 $ 4B입니다.

- Elon Musk (@elonmusk) 2024 년 6 월

"추론 컴퓨팅"은 Dojo가 처리하는 훈련 컴퓨팅과는 별개로 Tesla 차량에서 수행하는 실시간 AI 계산을 나타냅니다.

Dojo는 Tesla의 위험하지만 잠재적으로 보람있는 벤처를 나타냅니다. Musk는 Tesla가 Dojo와 성공하지 못할 수도 있음을 인정했지만 Tesla의 AI 부서의 초석으로 상상했으며, 처음에는 Tesla의 Humanoid Robot 인 FSD 및 Optimus의 컴퓨터 비전 라벨링 및 교육을 위해 맞춤형으로 조정되었습니다.

미래 버전의 DOJO는 일반 목적 AI 교육에 적합 할 수 있지만 현재 GPU 용으로 설계된 소프트웨어를 다시 작성해야합니다. 또는 Tesla는 AWS 및 Azure와 유사한 컴퓨팅 전력을 임대 할 수 있습니다.

2 분기 소득 기간 동안 머스크는 "도조와 Nvidia와 경쟁하는 길"을 보았다. Morgan Stanley의 2023 년 9 월 보고서에 따르면 Dojo는 Robotaxis 및 Software Services의 새로운 수익원을 개설하여 Tesla의 시장 가치에 5 천억 달러를 추가 할 수 있다고 제안했습니다.

본질적으로, Dojo의 칩은 테슬라의 보험 정책 역할을하며 상당한 수익을 올릴 가능성이 있습니다.

도조는 얼마나 멀리 떨어져 있습니까?

로이터 통신은 테슬라가 2023 년 7 월에 도조에서 생산을 시작했다고보고했지만 2023 년 6 월 Musk의 게시물에 따르면 Dojo는 "온라인으로 몇 달 동안 유용한 작업을 운영하고있다"고 밝혔다.

Tesla는 Dojo가 2024 년 2 월까지 상위 5 명의 가장 강력한 슈퍼 컴퓨터 중 하나로 순위를 매길 것으로 예상했지만, 이는 공개적으로 확인되지 않았으며 그 성과에 의문을 제기했습니다. 이 회사는 또한 2024 년 10 월까지 Dojo의 Total Compute가 100 개의 엑사 플롭에 도달 할 것이라고 예상했다.

2024 년 1 월, Tesla는 뉴욕 버팔로에있는 Gigafactory에 Dojo Supercomputer를 건설하기 위해 5 억 달러를 맹세했습니다.

2024 년 5 월, Musk는 Tesla의 Austin Gigafactory의 후면 부분이 "슈퍼 조밀 한 수냉식 슈퍼 컴퓨터 클러스터"에 전념 할 것이라고 언급했다.

Tesla의 2/4 실적 통화에 이어 Musk는 X에 Tesla의 AI 팀이 NVIDIA GPUS를 사용한 교육 루프에서 Tesla 차량에서 발견 된 하드웨어 인 Tesla HW4 AI 컴퓨터 (AI4로 이름이 바뀌 었음)를 사용하고 있다고 X에 게시했습니다. 그는 고장이 대략 90,000 Nvidia H100과 40,000 AI4 컴퓨터라고 지적했다.

"그리고 Dojo 1은 연말까지 온라인으로 약 8K H100에 해당하는 것과 동등 할 것"이라고 그는 말했다. "거대하지는 않지만 사소한 것도 아닙니다."

Tesla는이 칩이 현재 운영되고 Dojo를 실행하는지 여부를 확인하지 않았습니다. 회사의 4 분기 2024 년 소득 전화 기간 동안 Dojo는 언급되지 않았지만 Tesla는 4 분기에 피질 배치를 완료 한 것으로보고하여 감독 된 FSD의 V13을 가능하게했습니다.

이 이야기는 원래 2024 년 8 월 3 일에 출판되었으며 새로운 정보가 발전함에 따라 업데이트 할 것입니다.