Tesla Dojo AI Supercomputer에 대한 Elon Musk의 야심 찬 계획 공개

수년 동안 일론 머스크는 테슬라의 AI 야망의 중심에 있는 AI 슈퍼컴퓨터 도조(Dojo)에 대해 목소리를 높여 왔습니다. 2024년 7월, 머스크는 도조의 중요성을 강조하며, 테슬라의 AI 팀이 10월에 예정된 로보택시 공개를 앞두고 도조에 대한 노력을 강화할 것이라고 발표했습니다.

그렇다면 도조는 정확히 무엇이며, 테슬라의 장기 전략에서 왜 그렇게 중요한가요?

본질적으로 도조는 테슬라의 "완전 자율 주행"(FSD) 신경망을 훈련시키기 위해 설계된 맞춤형 슈퍼컴퓨터입니다. 도조의 개선은 테슬라가 완전 자율 주행 능력을 달성하고 로보택시 서비스를 출시하려는 목표와 밀접하게 연관되어 있습니다. 현재 수십만 대의 테슬라 차량에 설치된 FSD는 특정 자동 주행 작업을 처리할 수 있지만, 여전히 인간 운전자의 주의가 필요합니다.

10월 사이버캡(Cybercab) 공개 이후, 테슬라는 올 6월 오스틴에서 자체 차량 플릿을 사용해 자율 주행 차량 호출 서비스를 시작할 예정입니다. 2024년 1월 4분기 및 연간 실적 발표에서 테슬라는 2025년에 미국 고객을 위한 감독 없는 FSD를 도입할 계획이라고 발표했습니다.

머스크가 이전에 도조가 테슬라의 완전 자율 주행 야망의 핵심이라고 주장했음에도 불구하고, 목표가 가까워지면서 그는 이 주제에 대해 상대적으로 조용해졌습니다. 2024년 8월 이후, 대화는 테슬라의 오스틴 본사에 있는 새로운 AI 훈련 슈퍼클러스터 코르텍스(Cortex)로 전환되었습니다. 머스크는 코르텍스를 "FSD 및 옵티머스(Optimus) 비디오 훈련을 위한 대규모 저장소"를 갖춘 것으로 묘사했습니다.

테슬라의 4분기 주주 자료는 코르텍스에 대한 업데이트를 제공했지만, 도조에 대해서는 언급하지 않았습니다. 테슬라는 차량과 인간형 로봇 모두에서 자율성을 달성하기 위해 도조와 코르텍스를 포함한 AI에 막대한 투자를 하고 있습니다. 전기차 시장이 점점 더 경쟁적으로 변하면서, 테슬라의 미래 성공은 이러한 기술을 완벽히掌握하는 데 크게 의존합니다.

테슬라의 도조 배경

일론 머스크의 테슬라 비전은 단순히 자동차, 태양광 패널, 에너지 저장 시스템 제조를 넘어섭니다. 그는 테슬라가 인간의 인식을 모방하여 자율 주행 기술을 선도하는 AI 강자로 자리 잡기를 원합니다.

라이다, 레이더, 카메라와 같은 다양한 센서와 고해상도 지도에 의존하는 다른 자율 주행 차량 기술 회사들과 달리, 테슬라는 카메라만으로 완전 자율성을 달성하려고 합니다. 이 카메라는 시각 데이터를 캡처하며, 이는 고급 신경망에 의해 처리되어 실시간 주행 결정을 내립니다.

2021년 테슬라의 첫 번째 AI 데이에서 AI 책임자였던 안드레이 카르파티(Andrej Karpathy)는 회사의 목표를 "합성 동물을 처음부터 만드는 것"에 비유했습니다. 머스크는 2019년부터 도조를 암시해왔지만, AI 데이에서 공식적으로 공개되었습니다.

알파벳의 웨이모(Waymo)와 같은 회사들이 레벨 4 자율 주행 차량을 성공적으로 상용화한 반면, 테슬라의 시스템은 여전히 인간 운전자가 필요합니다. 180만 명 이상이 테슬라의 FSD에 가입했으며, 비용은 8,000달러에서 15,000달러 사이입니다. 도조로 훈련된 AI는 무선 업데이트를 통해 고객에게 배포될 것이라는 약속이 있습니다. FSD 차량에서 수집된 수백만 마일의 비디오 데이터는 시스템을 훈련시키고 개선하는 데 사용됩니다.

그러나 일부 산업 전문가들은 이러한 데이터 중심 접근 방식의 효과에 의문을 제기합니다. 퍼듀 대학교의 아난드 라구나탄(Anand Raghunathan) 교수는 테크크런치(TechCrunch)에 이렇게 말했습니다: "우선, 경제적 제약이 있으며, 곧 너무 비싸질 것입니다. 일부는 우리가 모델을 훈련시킬 의미 있는 데이터를 고갈시킬 수도 있다고 주장합니다. 더 많은 데이터가 반드시 더 많은 정보를 의미하지는 않으므로, 그 데이터가 더 나은 모델을 만드는 데 유용한 정보를 포함하고 있는지, 그리고 훈련 과정이 그 정보를 더 나은 모델로 실제로 정제할 수 있는지에 달려 있습니다."

이러한 우려에도 불구하고, 더 많은 데이터를 향한 추세는 적어도 현재로서는 지속되고 있습니다. 그리고 더 많은 데이터는 이를 저장하고 처리하기 위한 더 많은 계산 능력을 필요로 하며, 여기서 슈퍼컴퓨터 도조가 등장합니다.

슈퍼컴퓨터란 무엇인가?

도조는 특히 FSD를 위해 AI 모델을 훈련시키기 위해 설계된 테슬라의 슈퍼컴퓨터 시스템입니다. "도조"라는 이름은 무술 훈련 공간을 뜻합니다.

슈퍼컴퓨터는 CPU와 GPU를 갖춘 수천 개의 작은 컴퓨터, 즉 노드로 구성됩니다. CPU는 노드를 관리하고, GPU는 작업을 분할하고 동시에 처리하는 복잡한 작업을 담당합니다. GPU는 FSD 훈련 시뮬레이션과 같은 기계 학습 작업에 필수적이며, 대규모 언어 모델을 구동하여 생성 AI의 부상으로 인해 Nvidia가 세계에서 가장 가치 있는 기업이 된 이유를 설명합니다.

테슬라는 현재 AI 훈련에 Nvidia GPU를 사용하지만, Nvidia 칩의 높은 비용과 제한된 가용성으로 인해 하드웨어 소스를 다양화하려고 합니다.

테슬라가 슈퍼컴퓨터를 필요로 하는 이유는?

테슬라의 비전 중심 접근 방식은 슈퍼컴퓨터를 필요로 합니다. FSD를 구동하는 신경망은 차량 주변의 객체를 인식하고 분류하며 주행 결정을 내리기 위해 방대한 양의 주행 데이터로 훈련됩니다. FSD가 사용 중일 때, 이 신경망은 인간의 인식에 필적하는 속도로 시각 데이터를 지속적으로 수집하고 처리해야 합니다.

본질적으로 테슬라는 인간의 시각 피질과 뇌 기능을 디지털로 복제하려고 합니다. 이를 위해 테슬라는 글로벌 차량 플릿에서 수집된 방대한 양의 비디오 데이터를 저장하고 처리하며, AI 모델을 훈련시키기 위해 수많은 시뮬레이션을 실행해야 합니다.

도조 사진 pic.twitter.com/Lu8YiZXo8c

— Elon Musk (@elonmusk) 2024년 7월 23일

테슬라는 현재 도조 훈련 컴퓨터에 Nvidia를 사용하지만, 효율성을 높이고 비용을 줄이기 위해 자체 맞춤형 하드웨어를 개발 중입니다. 목표는 대역폭을 높이고 지연 시간을 줄이는 하드웨어를 개발하여 표준 GPU 하드웨어에서 벗어나는 것입니다.

이 칩들에 대해 더 알려주세요

테슬라는 애플과 마찬가지로 하드웨어와 소프트웨어가 완벽히 통합된 설계를 믿습니다. 이러한 철학은 테슬라가 도조를 위한 자체 칩을 개발하게 했습니다.

2021년 AI 데이에서 테슬라는 손바닥 크기의 실리콘 사각형인 D1 칩을 소개했습니다. D1의 생산은 적어도 2024년 5월까지 대만 반도체 제조 회사(TSMC)에서 7나노미터 반도체 노드를 사용하여 시작되었습니다. D1은 500억 개의 트랜지스터와 645mm²의 큰 다이 크기를 자랑하며, 복잡한 작업에 높은 전력과 효율성을 약속합니다.

"우리는 연산과 데이터 전송을 동시에 처리할 수 있으며, 우리의 맞춤형 ISA(명령어 세트 아키텍처)는 기계 학습 작업에 완전히 최적화되어 있습니다,"라고 2021년 테슬라 AI 데이에서 오토파일럿 하드웨어 수석 디렉터였던 가네시 벤카타라마난(Ganesh Venkataramanan)이 말했습니다. "이것은 순수한 기계 학습입니다."

D1은 강력하지만, 7나노미터 공정을 사용하고 540억 개의 트랜지스터와 826mm²의 더 큰 다이 크기를 가진 Nvidia의 A100 칩에는 약간 미치지 못합니다.

더 높은 대역폭과 연산 능력을 달성하기 위해 테슬라의 AI 팀은 25개의 D1 칩을 단일 타일로 결합하여 하나의 통합 컴퓨터 시스템으로 작동하게 했습니다. 각 타일은 9페타플롭스의 연산 능력과 초당 36테라바이트의 대역폭을 제공하며, 전력, 냉각, 데이터 전송에 필요한 모든 하드웨어를 포함합니다. 6개의 타일이 하나의 랙을 구성하고, 두 개의 랙이 캐비닛을 형성하며, 10개의 캐비닛이 ExaPOD를 만듭니다. 2022년 AI 데이에서 테슬라는 여러 ExaPOD를 배치하여 도조를 확장할 계획을 밝혔습니다.

테슬라는 또한 정보 흐름 병목 현상을 해결하기 위해 차세대 D2 칩을 개발 중입니다. D2는 전체 도조 타일을 단일 실리콘 웨이퍼에 통합할 것입니다.

테슬라는 D1 칩을 얼마나 주문했거나 받을 것으로 예상하는지, 또는 도조 슈퍼컴퓨터가 D1 칩으로 언제 가동될지에 대한 타임라인을 공개하지 않았습니다.

텍사스에서 거대한 GPU 쿨러를 만드는 것에 대한 6월 X 포스트에 대한 응답으로, 머스크는 테슬라가 향후 18개월 동안 "테슬라 AI 하드웨어 절반, Nvidia/기타 절반"을 목표로 한다고 말했습니다. 머스크의 1월 발언에 따르면 "기타"는 AMD 칩을 포함할 수 있습니다.

도조는 테슬라에게 어떤 의미인가?

칩 생산을 제어함으로써 테슬라는 TSMC와 함께 생산 규모가 커질수록 AI 훈련 프로그램에 상당한 연산 능력을 더 저렴한 비용으로 추가할 수 있습니다.

이 움직임은 또한 점점 더 비싸지고 부족한 Nvidia 칩에 대한 테슬라의 의존도를 줄일 수 있습니다. 테슬라의 2분기 실적 발표에서 머스크는 안정적인 GPU 공급 확보에 대한 우려를 표하며 도조에 더 집중할 필요성을 강조했습니다.

이러한 노력에도 불구하고 테슬라는 여전히 AI 훈련을 위해 Nvidia 칩을 구매하고 있습니다. 6월에 머스크는 X에 이렇게 포스트했습니다:

내가 말했던 테슬라의 AI 관련 지출 약 100억 달러 중 절반은 내부적으로 이루어지며, 주로 테슬라가 설계한 AI 추론 컴퓨터와 우리 차량에 있는 센서, 그리고 도조입니다. AI 훈련 슈퍼클러스터를 구축하는 데 Nvidia 하드웨어는 비용의 약 2/3를 차지합니다. 현재로서는 테슬라의 Nvidia 구매액이 올해 30억에서 40억 달러 정도일 것이라고 추정합니다.

— Elon Musk (@elonmusk) 2024년 6월

"추론 연산"은 테슬라 차량이 수행하는 실시간 AI 연산을 의미하며, 도조가 처리하는 훈련 연산과는 다릅니다.

도조는 테슬라에게 위험하지만 잠재적으로 큰 보상을 가져다줄 수 있는 벤처입니다. 머스크는 테슬라가 도조에서 성공하지 못할 수도 있다고 인정했지만, 그는 이를 테슬라의 AI 부서의 초석으로 보고 있으며, 처음에는 FSD와 테슬라의 인간형 로봇 옵티머스(Optimus)를 위한 컴퓨터 비전 라벨링 및 훈련에 맞춰졌습니다.

도조의 미래 버전은 일반적인 AI 훈련에 적응할 수 있지만, 이는 현재 GPU용으로 설계된 소프트웨어를 다시 작성해야 합니다. 또는 테슬라는 AWS와 Azure처럼 컴퓨팅 파워를 임대할 수 있습니다.

2분기 실적 발표에서 머스크는 도조로 Nvidia와 경쟁할 수 있는 길을 보고 있다고 언급했습니다. 2023년 9월 모건 스탠리 보고서는 도조가 로보택시와 소프트웨어 서비스에서 새로운 수익원을 열어 테슬라의 시장 가치를 5,000억 달러 추가할 수 있다고 제안했습니다.

본질적으로 도조의 칩은 테슬라에게 보험 정책 역할을 하며, 상당한 수익을 가져올 잠재력이 있습니다.

도조는 어디까지 왔나?

로이터는 테슬라가 2023년 7월 도조 생산을 시작했다고 보도했지만, 머스크의 2023년 6월 포스트는 도조가 "몇 달 동안 온라인 상태로 유용한 작업을 수행해왔다"고 밝혔습니다.

테슬라는 도조가 2024년 2월까지 세계에서 가장 강력한 슈퍼컴퓨터 상위 5위에 들 것이라고 예상했지만, 이는 공개적으로 확인되지 않아 그 성취 여부에 의문이 제기됩니다. 또한 회사는 도조의 총 연산 능력이 2024년 10월까지 100엑사플롭스에 이를 것이라고 전망했습니다. (1엑사플롭스는 초당 10경 번의 연산을 의미합니다. D1 칩 하나가 362테라플롭스를 달성한다고 가정하면, 100엑사플롭스를 달성하려면 276,000개 이상의 D1 또는 약 320,500개의 Nvidia A100 GPU가 필요합니다.)

2024년 1월, 테슬라는 뉴욕 버팔로 기가팩토리에 도조 슈퍼컴퓨터를 구축하기 위해 5억 달러를 투자하겠다고 약속했습니다.

2024년 5월, 머스크는 테슬라 오스틴 기가팩토리의 후방 부분이 "초고밀도 수냉식 슈퍼컴퓨터 클러스터"에 사용될 것이라고 언급했지만, 이는 도조가 아닌 코르텍스용이었습니다.

테슬라의 2분기 실적 발표 이후, 머스크는 X에 테슬라의 AI 팀이 테슬라 차량에 있는 하드웨어인 AI4(이전 명칭 HW4 AI 컴퓨터)를 Nvidia GPU와 함께 훈련 루프에서 사용하고 있다고 포스트했습니다. 그는 대략 90,000개의 Nvidia H100과 40,000개의 AI4 컴퓨터로 구성된다고 언급했습니다.

"그리고 도조 1은 연말까지 약 8,000개의 H100에 해당하는 훈련을 온라인 상태로 가동할 것입니다,"라고 그는 이어 말했습니다. "대규모는 아니지만, 무시할 만한 것도 아닙니다."

테슬라는 이 칩들이 현재 작동 중이며 도조를 가동하고 있는지 확인하지 않았습니다. 회사의 2024년 4분기 실적 발표에서 도조는 언급되지 않았지만, 테슬라는 4분기에 코르텍스 배포를 완료하여 감독 FSD V13을 가능하게 했다고 보고했습니다.

이 이야기는 2024년 8월 3일에 처음 게시되었으며, 새로운 정보가 발전함에 따라 업데이트할 것입니다.