Nvidia движется вперед в разработке человеческих роботов с помощью облачных технологий

Nvidia стремительно продвигается в область гуманоидной робототехники, не сдерживая себя. На выставке Computex 2025 в Тайване они представили ряд инноваций, которые должны переопределить ландшафт разработки робототехники. Среди них звездой шоу стал Nvidia Isaac GR00T N1.5, последняя версия открытой, полностью настраиваемой базовой модели Nvidia для гуманоидного мышления и навыков. Вместе с ней Nvidia представила Isaac GR00T-Dreams, проект, предназначенный для генерации синтетических данных о движении, и мощные системы Nvidia Blackwell, которые готовы ускорить разработку гуманоидных роботов.

Ряд ведущих разработчиков гуманоидов и робототехники, включая Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI и XPENG Robotics, уже используют технологии платформы Nvidia Isaac, чтобы расширить границы возможного в области гуманоидных роботов.

Дженсен Хуанг, генеральный директор Nvidia, не смог сдержать своего восторга, заявив: «Физический AI и робототехника приведут к следующей промышленной революции. От AI-мозгов для роботов до симулированных миров для практики или суперкомпьютеров AI для обучения базовых моделей — Nvidia предоставляет строительные блоки для каждого этапа пути разработки робототехники.»

Новый проект генерации данных Isaac GR00T устраняет нехватку данных

Задумывались ли вы о собственном гуманоидном роботе? Во время своего выступления на Computex Хуанг представил Nvidia Isaac GR00T-Dreams, революционный проект, который создает огромные объемы синтетических данных о движении, или нейронных траекторий. Эти данные — настоящая находка для разработчиков физического AI, помогая обучать роботов новым поведенческим моделям и адаптироваться к постоянно меняющимся условиям.

Процесс начинается с того, что разработчики дообучают мировые базовые модели Cosmos Predict (WFMs) для своих роботов. Затем, используя всего одно изображение в качестве входных данных, GR00T-Dreams создает видео, на которых робот выполняет новые задачи в новых условиях. После этого извлекаются токены действий — небольшие, легко усваиваемые фрагменты данных, которые роботы используют для изучения новых задач.

GR00T-Dreams работает в паре с проектом Isaac GR00T-Mimic, представленным ранее на конференции Nvidia GTC в марте. В то время как GR00T-Mimic использует Nvidia Omniverse и Nvidia Cosmos для улучшения существующих данных, GR00T-Dreams использует Cosmos для создания совершенно новых данных с нуля.

Джим Фан, директор по AI и выдающийся ученый Nvidia, поделился своим энтузиазмом на пресс-брифинге: «У Nvidia очень сильная стратегия в области робототехники, сосредоточенная вокруг того, что Дженсен называет проблемой трех компьютеров.» Он объяснил, что компьютер OVX отвечает за симуляцию и физику графических симуляций, генерируя данные, которые затем компьютер DGX использует для обучения базовых моделей. Эти данные затем развертываются на компьютере HX, который управляет процессами на периферии для платформ, таких как гуманоидные роботы.

Фан с гордостью назвал Gr00t жизненным циклом физического AI и рабочих процессов на основе роботов, подчеркнув: «Это воплощение проблемы трех компьютеров.» Он выделил два основных достижения в проекте Gr00t: Gr00t Dreams и Gr00t N1.5, шутливо добавив, что он очень гордится этими названиями.

О Gr00t Dreams Фан рассказал как о модели, которая генерирует видео для обучения роботов. Он показал множество видео, созданных с помощью Nvidia Cosmos, объяснив: «Мы нашли способ применить передовые модели генерации видео, такие как Cosmos, для помощи в гуманоидной робототехнике. На высоком уровне этот метод работает так: мы сначала дообучаем Cosmos на видео роботов из нашей лаборатории, чтобы эта модель видео была адаптирована к роботам в нашей лаборатории. Затем мы можем использовать эту дообученную модель для генерации, в принципе, бесконечного количества видео мечты, задавая модели разные команды. И теперь это становится синтетическими данными для дополнения наших реальных наборов данных роботов. Как многие из вас знают, сбор данных на реальном роботе очень трудоемкий и дорогостоящий, потому что вы ограничены 24 часами в сутки на одного робота, верно? Это физическая система, но с Gr00t Dreams, этим новым рабочим процессом, этим новым набором алгоритмов, мы теперь можем преодолеть это фундаментальное физическое ограничение и умножить данные в беспрецедентных масштабах.»

Результат? Роботы, которые могут правильно брать предметы, будь то огурец, наливание апельсинового сока или открытие ноутбука. Эти действия робот никогда не изучал, отметил Фан, но благодаря обучению с видеомоделями робот может «понимать физику и значение этих глаголов» и научиться их выполнять.

Новые модели Isaac GR00T продвигают разработку гуманоидных роботов

Проект Nvidia GR00T-Dreams — это не просто слова; он уже используется, генерируя синтетические данные для обучения GR00T N1.5 всего за 36 часов — задача, которая без этого проекта заняла бы почти три месяца. GR00T N1.5 теперь лучше адаптируется к новым средам и конфигурациям рабочего пространства, а также распознает объекты по инструкциям пользователя. Это обновление значительно повышает успешность выполнения обычных задач, таких как сортировка или уборка предметов, и готово к развертыванию на Jetson Thor, запуск которого запланирован на конец этого года.

Базовая модель GR00T N1.5 интегрирует Gr00t Dreams в свою систему генерации синтетических данных. Nvidia улучшила визуально-языковую основу, гарантируя, что GR00T N1.5 будет обладать превосходной адаптивностью и лучшим соответствием языковым инструкциям, по словам Фана.

GR00T N1.5 дебютирует на Computex и будет выпущена как открытый исходный код к 9 июня. Что касается Gr00t Dreams, Nvidia еще уточняет сроки, но стремится максимально открыть исходный код, добавил Фан.

Ранние пользователи GR00T N включают AeiRobot, Foxlink, Lightwheel и NEURA Robotics. AeiRobot использует модель, чтобы ALICE4 могла понимать инструкции на естественном языке и выполнять сложные рабочие процессы по подбору и размещению в промышленных условиях. Foxlink Group использует ее для повышения гибкости и эффективности промышленных манипуляторов роботов, в то время как Lightwheel проверяет синтетические данные для более быстрого развертывания гуманоидных роботов на заводах. NEURA Robotics исследует модель для ускорения разработки бытовой автоматизации.

Новые фреймворки симуляции роботов и генерации данных ускоряют процессы обучения

Создание высококвалифицированных гуманоидных роботов — это не только вопрос аппаратного обеспечения; речь идет о предоставлении им огромного количества разнообразных данных, сбор и обработка которых могут быть дорогостоящими и трудоемкими. Кроме того, тестирование роботов в реальном мире связано с собственными проблемами и рисками.

Для устранения этих пробелов Nvidia представила несколько технологий симуляции:

• Nvidia Cosmos Reason, новая WFM, использующая цепочку рассуждений для помощи в создании точных, высококачественных синтетических данных для обучения моделей физического AI, теперь доступна на Hugging Face.
• Cosmos Predict 2, используемая в GR00T Dreams, скоро появится на Hugging Face с улучшениями производительности для генерации высококачественных миров и уменьшения галлюцинаций.
• Nvidia Isaac GR00T-Mimic, проект для генерации экспоненциально больших объемов синтетических траекторий движения для манипуляций роботами, используя всего несколько человеческих демонстраций.
• Открытый набор данных физического AI, теперь включающий 24 000 высококачественных траекторий движения гуманоидных роботов, использованных для разработки моделей GR00T N.
• Nvidia Isaac Sim 5.0, фреймворк для симуляции и генерации синтетических данных, теперь открыто доступный на GitHub.
• Nvidia Isaac Lab 2.2, открытый фреймворк для обучения роботов, который будет включать новые среды оценки для помощи разработчикам в тестировании моделей GR00T N.

Foxconn и Foxlink уже используют проект GR00T-Mimic для ускорения своих процессов обучения робототехники. Тем временем Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics и XPENG Robotics симулируют и обучают своих гуманоидных роботов с помощью Nvidia Isaac Sim и Isaac Lab. Skild AI разрабатывает общий интеллект роботов с использованием этих симуляционных фреймворков, а General Robotics интегрирует их в свою платформу интеллекта роботов.

Универсальные системы Blackwell для разработчиков роботов

Глобальные производители систем активизируются, создавая рабочие станции и серверы Nvidia RTX PRO 6000. Эти системы предлагают единую архитектуру, способную справляться с любыми задачами разработки роботов, от обучения и генерации синтетических данных до обучения и симуляции роботов.

Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo и Supermicro объявили о серверах Nvidia RTX PRO 6000 с поддержкой Blackwell, в то время как Dell Technologies и Lenovo также представили рабочие станции Nvidia RTX PRO 6000 с поддержкой Blackwell.

Для тех случаев, когда требуется еще больше вычислительной мощности для выполнения крупномасштабных задач обучения или генерации данных, разработчики могут обратиться к системам Nvidia Blackwell, таким как GB200 NVL72. Доступные через Nvidia DGX Cloud на ведущих облачных провайдерах и партнерах Nvidia Cloud, эти системы обещают до 18 раз большую производительность для обработки данных.