Nvidia движется вперед в разработке человеческих роботов с помощью облачных технологий
Nvidia активно движется в сторону человеческой робототехники, и они не собираются останавливаться. На выставке Computex 2025 в Тайване они представили серию инноваций, которые должны переопределить развитие робототехники. На этом мероприятии звездой стала Nvidia Isaac GR00T N1.5, последняя версия открытой полностью настраиваемой базовой модели Nvidia для человеческих роботов. Вместе с ней была представлена Isaac GR00T-Dreams, чертеж, предназначенный для генерации синтетических данных движения, а также мощная система Nvidia Blackwell, которая должна ускорить разработку человеческих роботов.
Ведущие разработчики человеческих роботов и робототехники, включая Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI и XPENG Robotics, уже используют платформу Isaac Nvidia для достижения новых высот в области человеческих роботов.
Генеральный директор Nvidia Джинн Хуанг не мог скрыть своего возбуждения, заявив: «Физический ИИ и робототехника принесут следующую промышленную революцию. От ИИ-мозгов для роботов до симуляционных миров для практики или ИИ-суперкомпьютеров для обучения базовых моделей, Nvidia предоставляет строительные блоки на всех этапах пути развития робототехники».
Новая схема генерации данных Isaac GR00T закрывает пробел в данных
Когда-нибудь задумывались о собственном человеческом роботе? Во время своей презентации на Computex Хуанг продемонстрировал Nvidia Isaac GR00T-Dreams, революционную схему, которая создает огромное количество синтетических данных движения, или нейронных траекторий. Эти данные — настоящая находка для разработчиков физического ИИ, помогающая обучить роботов широкому спектру новых поведений и адаптации к постоянно меняющимся условиям.
Процесс начинается с постобработки разработчиками Cosmos Predict World Foundation Models (WFMs) для своих роботов. Затем, используя лишь одно изображение как входные данные, GR00T-Dreams генерирует видео, где робот справляется с новыми задачами в новых условиях. Затем извлекаются действия в виде токенов — маленьких, легко обрабатываемых частей данных, которые роботы используют для обучения этих новых задач.
GR00T-Dreams работает вместе с схемой Isaac GR00T-Mimic, представленной ранее на конференции Nvidia GTC в марте. В то время как GR00T-Mimic использует Nvidia Omniverse и Nvidia Cosmos для улучшения существующих данных, GR00T-Dreams использует Cosmos для создания совершенно новых данных с нуля.
Джим Фан, директор по ИИ и выдающийся ученый Nvidia, поделился своим энтузиазмом на пресс-брифинге: «У Nvidia есть очень сильная стратегия в области робототехники, центральной темой которой является то, что Джинн называет “три компьютерных проблемы”». Он объяснил, что система OVX занимается симуляцией и графической симуляцией физических двигателей, создавая данные, которые затем использует система DGX для обучения базовых моделей. Эти данные затем применяются к системе HX, которая управляет работой на границах для платформ, таких как человеческие роботы.
Фан гордо упомянул Gr00t как жизненный цикл физического ИИ и рабочие процессы на основе роботов, подчеркнув: «Это воплощение трехкомпьютерной проблемы». Он выделил два важных достижения в проекте Gr00t: Gr00t Dreams и Gr00t N1.5, шутливо добавив, что он действительно гордится этими названиями.
Что касается Gr00t Dreams, Фан описал его как модель, которая генерирует видео для обучения роботов. Он показал множество видео, все сгенерированных с помощью Nvidia Cosmos, пояснив: «Мы нашли способ применить передовые модели генерации видео, такие как Cosmos, для помощи в развитии человеческих роботов. На высоком уровне этот метод работает так: мы сначала дообучаем Cosmos на видео наших роботов в лаборатории, чтобы эта модель стала специализированной для роботов в нашей лаборатории. Затем мы можем использовать эту дообученную модель для генерации, в принципе, неограниченного количества “сонных” видео, запрашивая модель разными способами. Теперь это становится синтетическими данными для дополнения реальных наборов данных роботов. Как многие из вас, возможно, знают, сбор данных с реальных роботов очень затратное и времяпрепровождение дело, потому что вы ограничены 24 часами в сутки для каждого робота, правильно? Это физическая система, но с Gr00t Dreams, этой новой технологической цепочкой, новым набором алгоритмов, теперь мы можем преодолеть эту фундаментальную физическую границу и увеличить данные в небывалом масштабе».
Результат? Роботы, которые могут правильно поднимать объекты, будь то огурец, выливать апельсиновый сок или открывать ноутбук. Эти действия робот никогда не был обучен, отметил Фан, но благодаря обучению с помощью видео моделей, робот может «понимать физику и значение этих глаголов» и учиться выполнять их.
Новые модели Isaac GR00T улучшают развитие человеческих роботов
Схема Isaac GR00T-Dreams не просто слова; она уже используется для генерации синтетических данных обучения, чтобы разработать GR00T N1.5 всего за 36 часов — задача, которая заняла бы почти три месяца без этой схемы. GR00T N1.5 теперь лучше адаптируется к новым условиям и конфигурациям рабочего пространства, а также может распознавать объекты через пользовательские инструкции. Это обновление значительно повышает успех модели для распространенных задач, таких как сортировка или укладка вещей, и готово к развертыванию на Jetson Thor, который выйдет позже в этом году.
Модель GR00T N1.5 интегрирует Gr00t Dreams в свою синтетическую генерацию данных. Nvidia улучшила визуально-языковой фундамент, что обеспечит GR00T N1.5 превосходную адаптивность и лучшее выполнение языковых инструкций, согласно Фану.
GR00T N1.5 дебютирует на Computex и будет выпущен как открытый исходный код к 9 июня. Что касается Gr00t Dreams, Nvidia всё ещё уточняет график, но стремится сделать как можно больше открытого исходного кода, добавил Фан.
Первопроходцы GR00T N включают AeiRobot, Foxlink, Lightwheel и NEURA Robotics. AeiRobot использует модель для того, чтобы ALICE4 мог понимать естественные языковые инструкции и выполнять сложные задачи типа «поднять
Связанная статья
Новая статья раскрывает, сколько данных на самом деле запоминают LLM
Сколько на самом деле запоминают модели ИИ? Новое исследование раскрывает удивительные выводыВсе мы знаем, что большие языковые модели (LLM), такие как ChatGPT, Claude и Gemini, обучаются на огромных
Nvidia предоставляет Omniverse Blueprint для цифровых двойников AI-фабрик
NVIDIA представляет масштабное расширение Omniverse Blueprint для цифровых двойников AI-фабрикНа Computex 2025 в Тайбэе NVIDIA объявила о значительном расширении Omniverse Blueprint для цифровых двойн
От MIPS до эксафлопсов за несколько десятилетий: Вычислительная мощность стремительно растет, и это преобразит ИИ
На недавней конференции Nvidia GTC технологический гигант представил прорывное достижение: первую систему серверов в одном стоечном шкафу, способную достичь одного эксафлопса. Это ошеломляющие один ми
Комментарии (0)
Nvidia активно движется в сторону человеческой робототехники, и они не собираются останавливаться. На выставке Computex 2025 в Тайване они представили серию инноваций, которые должны переопределить развитие робототехники. На этом мероприятии звездой стала Nvidia Isaac GR00T N1.5, последняя версия открытой полностью настраиваемой базовой модели Nvidia для человеческих роботов. Вместе с ней была представлена Isaac GR00T-Dreams, чертеж, предназначенный для генерации синтетических данных движения, а также мощная система Nvidia Blackwell, которая должна ускорить разработку человеческих роботов.
Ведущие разработчики человеческих роботов и робототехники, включая Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI и XPENG Robotics, уже используют платформу Isaac Nvidia для достижения новых высот в области человеческих роботов.
Генеральный директор Nvidia Джинн Хуанг не мог скрыть своего возбуждения, заявив: «Физический ИИ и робототехника принесут следующую промышленную революцию. От ИИ-мозгов для роботов до симуляционных миров для практики или ИИ-суперкомпьютеров для обучения базовых моделей, Nvidia предоставляет строительные блоки на всех этапах пути развития робототехники».
Новая схема генерации данных Isaac GR00T закрывает пробел в данных
Когда-нибудь задумывались о собственном человеческом роботе? Во время своей презентации на Computex Хуанг продемонстрировал Nvidia Isaac GR00T-Dreams, революционную схему, которая создает огромное количество синтетических данных движения, или нейронных траекторий. Эти данные — настоящая находка для разработчиков физического ИИ, помогающая обучить роботов широкому спектру новых поведений и адаптации к постоянно меняющимся условиям.
Процесс начинается с постобработки разработчиками Cosmos Predict World Foundation Models (WFMs) для своих роботов. Затем, используя лишь одно изображение как входные данные, GR00T-Dreams генерирует видео, где робот справляется с новыми задачами в новых условиях. Затем извлекаются действия в виде токенов — маленьких, легко обрабатываемых частей данных, которые роботы используют для обучения этих новых задач.
GR00T-Dreams работает вместе с схемой Isaac GR00T-Mimic, представленной ранее на конференции Nvidia GTC в марте. В то время как GR00T-Mimic использует Nvidia Omniverse и Nvidia Cosmos для улучшения существующих данных, GR00T-Dreams использует Cosmos для создания совершенно новых данных с нуля.
Джим Фан, директор по ИИ и выдающийся ученый Nvidia, поделился своим энтузиазмом на пресс-брифинге: «У Nvidia есть очень сильная стратегия в области робототехники, центральной темой которой является то, что Джинн называет “три компьютерных проблемы”». Он объяснил, что система OVX занимается симуляцией и графической симуляцией физических двигателей, создавая данные, которые затем использует система DGX для обучения базовых моделей. Эти данные затем применяются к системе HX, которая управляет работой на границах для платформ, таких как человеческие роботы.
Фан гордо упомянул Gr00t как жизненный цикл физического ИИ и рабочие процессы на основе роботов, подчеркнув: «Это воплощение трехкомпьютерной проблемы». Он выделил два важных достижения в проекте Gr00t: Gr00t Dreams и Gr00t N1.5, шутливо добавив, что он действительно гордится этими названиями.
Что касается Gr00t Dreams, Фан описал его как модель, которая генерирует видео для обучения роботов. Он показал множество видео, все сгенерированных с помощью Nvidia Cosmos, пояснив: «Мы нашли способ применить передовые модели генерации видео, такие как Cosmos, для помощи в развитии человеческих роботов. На высоком уровне этот метод работает так: мы сначала дообучаем Cosmos на видео наших роботов в лаборатории, чтобы эта модель стала специализированной для роботов в нашей лаборатории. Затем мы можем использовать эту дообученную модель для генерации, в принципе, неограниченного количества “сонных” видео, запрашивая модель разными способами. Теперь это становится синтетическими данными для дополнения реальных наборов данных роботов. Как многие из вас, возможно, знают, сбор данных с реальных роботов очень затратное и времяпрепровождение дело, потому что вы ограничены 24 часами в сутки для каждого робота, правильно? Это физическая система, но с Gr00t Dreams, этой новой технологической цепочкой, новым набором алгоритмов, теперь мы можем преодолеть эту фундаментальную физическую границу и увеличить данные в небывалом масштабе».
Результат? Роботы, которые могут правильно поднимать объекты, будь то огурец, выливать апельсиновый сок или открывать ноутбук. Эти действия робот никогда не был обучен, отметил Фан, но благодаря обучению с помощью видео моделей, робот может «понимать физику и значение этих глаголов» и учиться выполнять их.
Новые модели Isaac GR00T улучшают развитие человеческих роботов
Схема Isaac GR00T-Dreams не просто слова; она уже используется для генерации синтетических данных обучения, чтобы разработать GR00T N1.5 всего за 36 часов — задача, которая заняла бы почти три месяца без этой схемы. GR00T N1.5 теперь лучше адаптируется к новым условиям и конфигурациям рабочего пространства, а также может распознавать объекты через пользовательские инструкции. Это обновление значительно повышает успех модели для распространенных задач, таких как сортировка или укладка вещей, и готово к развертыванию на Jetson Thor, который выйдет позже в этом году.
Модель GR00T N1.5 интегрирует Gr00t Dreams в свою синтетическую генерацию данных. Nvidia улучшила визуально-языковой фундамент, что обеспечит GR00T N1.5 превосходную адаптивность и лучшее выполнение языковых инструкций, согласно Фану.
GR00T N1.5 дебютирует на Computex и будет выпущен как открытый исходный код к 9 июня. Что касается Gr00t Dreams, Nvidia всё ещё уточняет график, но стремится сделать как можно больше открытого исходного кода, добавил Фан.
Первопроходцы GR00T N включают AeiRobot, Foxlink, Lightwheel и NEURA Robotics. AeiRobot использует модель для того, чтобы ALICE4 мог понимать естественные языковые инструкции и выполнять сложные задачи типа «поднять
Новая статья раскрывает, сколько данных на самом деле запоминают LLM
Сколько на самом деле запоминают модели ИИ? Новое исследование раскрывает удивительные выводыВсе мы знаем, что большие языковые модели (LLM), такие как ChatGPT, Claude и Gemini, обучаются на огромных
Nvidia предоставляет Omniverse Blueprint для цифровых двойников AI-фабрик
NVIDIA представляет масштабное расширение Omniverse Blueprint для цифровых двойников AI-фабрикНа Computex 2025 в Тайбэе NVIDIA объявила о значительном расширении Omniverse Blueprint для цифровых двойн
От MIPS до эксафлопсов за несколько десятилетий: Вычислительная мощность стремительно растет, и это преобразит ИИ
На недавней конференции Nvidia GTC технологический гигант представил прорывное достижение: первую систему серверов в одном стоечном шкафу, способную достичь одного эксафлопса. Это ошеломляющие один ми
