클라우드 지원으로 나비아가 인간형 로봇공학 진전

Nvidia는 인간형 로보틱스 분야에 전속력으로 진출하고 있으며, 주저하지 않고 있습니다. 2025년 대만 Computex 전시회에서 그들은 로보틱스 개발의 판도를 재정의할 일련의 혁신을 공개했습니다. 그중에서도 주목받은 것은 Nvidia Isaac GR00T N1.5로, Nvidia의 개방적이고 완전히 커스터마이징 가능한 인간형 추론 및 스킬을 위한 기초 모델의 최신 버전이었습니다. 이와 함께 Nvidia는 합성 모션 데이터를 생성하도록 설계된 청사진인 Isaac GR00T-Dreams와 인간형 로봇 개발을 가속화할 강력한 Nvidia Blackwell 시스템을 소개했습니다.

Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI, XPENG Robotics를 포함한 여러 선도적인 인간형 및 로보틱스 개발자들은 이미 Nvidia의 Isaac 플랫폼 기술을 활용하여 인간형 로봇의 가능성을 확장하고 있습니다.

Nvidia의 CEO인 Jensen Huang은 그의 흥분을 감추지 못하며, "물리적 AI와 로보틱스는 다음 산업 혁명을 가져올 것입니다. 로봇을 위한 AI 두뇌부터 연습할 수 있는 시뮬레이션 세계, 또는 기초 모델 훈련을 위한 AI 슈퍼컴퓨터까지, Nvidia는 로보틱스 개발 여정의 모든 단계에 필요한 구성 요소를 제공합니다."라고 말했습니다.

새로운 Isaac GR00T 데이터 생성 청사진, 데이터 격차 해소

자신만의 인간형 로봇을 갖는 것에 대해 궁금한 적이 있나요? Computex 기조연설에서 Huang은 방대한 양의 합성 모션 데이터, 즉 신경 궤적을 생성하는 획기적인 청사진인 Nvidia Isaac GR00T-Dreams를 선보였습니다. 이 데이터는 물리적 AI 개발자들에게 금광과도 같으며, 로봇에게 새로운 행동을 가르치고 끊임없이 변화하는 환경에 적응하는 방법을 배우게 합니다.

이 과정은 개발자들이 로봇을 위해 Cosmos Predict 세계 기초 모델(WFMs)을 사후 훈련하는 것으로 시작됩니다. 그런 다음 단일 이미지를 입력으로 사용하여 GR00T-Dreams는 새로운 환경에서 새로운 작업을 수행하는 로봇의 비디오를 생성합니다. 이후 로봇이 이러한 새로운 작업을 배우는 데 사용하는, 작고 쉽게 소화할 수 있는 데이터 조각인 액션 토큰을 추출합니다.

GR00T-Dreams는 3월 Nvidia GTC 컨퍼런스에서 소개된 Isaac GR00T-Mimic 청사진과 함께 작동합니다. GR00T-Mimic은 Nvidia Omniverse와 Nvidia Cosmos를 활용하여 기존 데이터를 향상시키는 반면, GR00T-Dreams는 Cosmos를 사용하여 완전히 새로운 데이터를 처음부터 생성합니다.

Nvidia의 AI 디렉터이자 저명한 과학자인 Jim Fan은 언론 브리핑에서 "Nvidia는 Jensen이 말하는 세 가지 컴퓨터 문제에 초점을 맞춘 매우 강력한 로보틱 전략을 가지고 있다"고 열정을 드러냈습니다. 그는 OVX 컴퓨터가 시뮬레이션과 그래픽 시뮬레이션 물리 엔진을 처리하여 데이터를 생성하고, 이 데이터는 DGX 컴퓨터가 기초 모델 훈련에 사용한다고 설명했습니다. 이 데이터는 이후 HX 컴퓨터에 배포되어 인간형 로봇과 같은 플랫폼에서 엣지에서 실행됩니다.

Fan은 Gr00t를 물리적 AI와 로봇 기반 워크플로우의 생애 주기로 자랑스럽게 언급하며, "이는 세 가지 컴퓨터 문제의 구현이다"라고 강조했습니다. 그는 Project Gr00t의 두 가지 주요 발전, 즉 Gr00t Dreams와 Gr00t N1.5를 강조하며, 그 이름에 대해 매우 만족한다고 농담을 덧붙였습니다.

Gr00t Dreams에 대해 Fan은 로봇 훈련을 위한 비디오를 생성하는 모델이라고 설명했습니다. 그는 Nvidia Cosmos로 생성된 수많은 비디오를 선보이며, "우리는 Cosmos와 같은 고급 비디오 생성 모델을 인간형 로보틱스에 적용할 방법을 찾았다. 높은 수준에서 이 방법은 먼저 우리 연구실의 로봇 비디오로 Cosmos를 미세 조정하여 이 비디오 모델이 우리 연구실의 로봇에 맞춤화되도록 한다. 그런 다음 이 미세 조정된 모델을 다양한 방식으로 프롬프트하여 원칙적으로 무한한 꿈 비디오를 생성할 수 있다. 이는 실제 로봇 데이터 세트를 증강하기 위한 합성 데이터가 된다. 많은 분들이 아시다시피 실제 로봇에서 데이터를 수집하는 것은 매우 시간 소모적이고 비용이 많이 들며, 하루에 로봇 한 대당 24시간으로 근본적으로 제한된다. 하지만 Gr00t Dreams, 이 새로운 워크플로우, 새로운 알고리즘 세트를 통해 우리는 이 근본적인 물리적 한계를 깨고 전례 없는 규모로 데이터를 증식할 수 있게 되었다"고 설명했습니다.

결과는? 오이 줍기, 오렌지 주스 따르기, 노트북 열기 등 로봇이 훈련받지 않은 동작을 올바르게 수행할 수 있습니다. Fan은 비디오 모델로 훈련 덕분에 로봇이 "물리학과 이러한 동사의 의미를 이해"하고 이를 수행하는 법을 배울 수 있다고 언급했습니다.

새로운 Isaac GR00T 모델, 인간형 로봇 개발 가속화

Nvidia의 GR00T-Dreams 청사진은 단순히 말이 아니라 실제로 적용되어, GR00T N1.5를 단 36시간 만에 개발하기 위한 합성 훈련 데이터를 생성했습니다—청사진 없이라면 거의 3개월이 걸렸을 작업입니다. GR00T N1.5는 이제 새로운 환경과 작업 공간 구성에 더 잘 적응하며, 사용자 지침을 통해 객체를 인식할 수 있습니다. 이 업데이트는 정렬이나 물건 정리와 같은 일반적인 작업의 성공률을 크게 향상시키며, 올해 말 출시 예정인 Jetson Thor에 배포될 준비가 되어 있습니다.

GR00T N1.5 기초 모델은 합성 데이터 생성 파이프라인에 Gr00t Dreams를 통합했습니다. Nvidia는 시각 언어 백본을 업그레이드하여 GR00T N1.5가 더 뛰어난 적응력과 언어 지침 준수성을 갖추도록 했습니다.

GR00T N1.5는 Computex에서 데뷔할 예정이며, 6월 9일까지 오픈 소스로 공개될 예정입니다. Gr00t Dreams의 경우, Nvidia는 아직 타임라인을 미세 조정 중이지만, 가능한 한 많이 오픈 소스로 공개할 계획이라고 Fan은 덧붙였습니다.

GR00T N의 초기 채택자에는 AeiRobot, Foxlink, Lightwheel, NEURA Robotics가 포함됩니다. AeiRobot은 이 모델을 사용하여 ALICE4가 자연어 지침을 이해하고 산업 환경에서 복잡한 픽앤플레이스 워크플로우를 실행할 수 있도록 하고 있습니다. Foxlink Group은 산업용 로봇 매니퓰레이터의 유연성과 효율성을 개선하기 위해 이를 활용하고 있으며, Lightwheel은 공장에서 인간형 로봇을 더 빠르게 배포하기 위해 합성 데이터를 검증하고 있습니다. NEURA Robotics는 가정 자동화 개발을 가속화하기 위해 이 모델을 탐구하고 있습니다.

새로운 로봇 시뮬레이션 및 데이터 생성 프레임워크, 훈련 파이프라인 가속화

고도로 숙련된 인간형 로봇을 만드는 것은 하드웨어뿐만 아니라 다양한 데이터를 대량으로 제공하는 것에 관한 것으로, 이를 수집하고 처리하는 데 비용과 시간이 많이 들 수 있습니다. 또한 실제 환경에서 로봇을 테스트하는 것은 그 자체로 도전과 위험을 동반합니다.

이러한 격차를 해소하기 위해 Nvidia는 여러 시뮬레이션 기술을 소개했습니다:

• Nvidia Cosmos Reason, 물리적 AI 모델 훈련을 위한 정확하고 고품질의 합성 데이터를 큐레이션하는 데 도움을 주는 체인 오브 소트 추론을 사용하는 새로운 WFM으로, 현재 Hugging Face에서 사용 가능.
• Cosmos Predict 2, GR00T Dreams에 사용되며, 고품질 세계 생성과 환각 감소를 위한 성능 향상으로 곧 Hugging Face에 제공 예정.
• Nvidia Isaac GR00T-Mimic, 소수의 인간 시연만으로 로봇 조작을 위한 지수적으로 많은 합성 모션 궤적을 생성하는 청사진.
• 오픈 소스 물리적 AI 데이터셋, GR00T N 모델 개발에 사용된 24,000개의 고품질 인간형 로봇 모션 궤적 포함.
• Nvidia Isaac Sim 5.0, 시뮬레이션 및 합성 데이터 생성 프레임워크로, 현재 GitHub에서 공개적으로 사용 가능.
• Nvidia Isaac Lab 2.2, 오픈 소스 로봇 학습 프레임워크로, 개발자들이 GR00T N 모델을 테스트할 수 있는 새로운 평가 환경 포함.

Foxconn과 Foxlink는 이미 GR00T-Mimic 청사진을 사용하여 로보틱스 훈련 파이프라인을 가속화하고 있습니다. 한편 Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics, XPENG Robotics는 Nvidia Isaac Sim과 Isaac Lab을 사용하여 인간형 로봇을 시뮬레이션하고 훈련하고 있습니다. Skild AI는 이러한 시뮬레이션 프레임워크로 일반 로봇 지능을 개발하고 있으며, General Robotics는 이를 로봇 지능 플랫폼에 통합하고 있습니다.

로봇 개발자를 위한 유니버설 Blackwell 시스템

글로벌 시스템 제조업체들은 Nvidia RTX PRO 6000 워크스테이션과 서버를 구축하며 나서고 있습니다. 이러한 시스템은 훈련, 합성 데이터 생성, 로봇 학습, 시뮬레이션 등 모든 로봇 개발 워크로드를 처리할 수 있는 통합 아키텍처를 제공합니다.

Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo, Supermicro는 Nvidia RTX PRO 6000 Blackwell 기반 서버를 발표했으며, Dell Technologies와 Lenovo는 Nvidia RTX PRO 6000 Blackwell 기반 워크스테이션도 공개했습니다.

대규모 훈련 또는 데이터 생성 워크로드를 실행하기 위해 더 많은 계산 능력이 필요할 때, 개발자들은 Nvidia Blackwell 시스템인 GB200 NVL72로 전환할 수 있습니다. 주요 클라우드 제공업체와 Nvidia Cloud Partners를 통해 Nvidia DGX Cloud에서 제공되는 이 시스템은 데이터 처리 성능을 최대 18배 향상시킬 수 있습니다.