Дом
Команда Ли Фэйфэй представила метод создания бесконечных полигонов для обучения роботов на основе одного видео
В области воплощённого интеллекта преодоление разрыва между моделированием и реальностью — известное как «Sim2Real» — долгое время оставалось серьёзным препятствием. Оборудование для моделирования обходится дорого, а модели часто теряют производительность при внедрении в реальных условиях. В недавнем совместном исследовании, проведённом командой Ли Фэй-Фэй, NVIDIA GEAR Lab и Технологическим институтом Джорджии, представлено новое решение: Real2Sim.
Эта система, получившая название «SimFoundry», создает интерактивные, обучаемые и тестируемые робототехнические симуляции с использованием простых видеозаписей из реального мира. Выходя за рамки традиционной 3D-реконструкции, SimFoundry выполняет глубокий анализ сцены для автоматизации создания окружающей среды, что значительно сокращает усилия, необходимые для построения симуляций.

Основная инновация SimFoundry заключается в замкнутом цикле между «цифровыми двойниками» и «цифровыми родственниками». Система извлекает геометрические, физические и интерактивные данные из видеороликов для построения высокоточных цифровых двойников. Затем она автоматически варьирует внешний вид, расположение объектов и задачи, чтобы генерировать разнообразных цифровых «кузенов». Это позволяет разработчикам получать практически неограниченный объем обучающих данных из одного видеоролика, обеспечивая сквозное обучение и оценку стратегий в рамках симуляции.
Эксперименты подтверждают высокую прогностическую способность SimFoundry: результаты моделирования работы роботов точно соответствуют реальным. Что особенно важно, стратегии, обученные на этих синтетических данных, эффективно переносятся в реальную среду без донастройки («zero-shot»), демонстрируя превосходные результаты при решении сложных задач, таких как многоэтапные операции и координация двух рук.
Эта система с открытым исходным кодом, разработанная в соавторстве с ведущими экспертами в области робототехники, включая ключевых членов NVIDIA GEAR Lab и команды Ли Фэй-Фэй, обещает преобразовать разработку воплощённого ИИ. Заменив дорогостоящий ручной сбор данных генеративными технологиями, роботы теперь могут гораздо быстрее переходить из лаборатории к применению в реальных условиях.
Ссылка на статью: https://arxiv.org/pdf/2606.28276v1
Связанная статья
Мира Мурати возвращается в центр внимания с осторожным подходом
Мира Мурати никогда не была естественным участником конференционной сцены. Будучи техническим директором OpenAI, она оставалась преимущественно за кулисами, редко выступая в качестве публичного лица компании. Теперь, возглавляя собственный проект Thi
Отчет Adobe Creator: 80 % респондентов считают, что ИИ способствует росту числа поклонников и развитию бизнеса
По мере того как искусственный интеллект ускоряет своё глобальное распространение, в сфере создания контента происходят коренные изменения. Инструменты творческого ИИ уже не просто оптимизируют рабочи
Google объявляет себя крупным игроком в области дизайна ИИ
На ежегодной конференции I/O во вторник Google представила Pics, новый инструмент для дизайна и создания изображений на основе искусственного интеллекта для Google Workspace. Компания заявляет, что приложение разработано с учетом доступности и предна
Рекомендации по связанным специальным темам
Комментарии (0)
В области воплощённого интеллекта преодоление разрыва между моделированием и реальностью — известное как «Sim2Real» — долгое время оставалось серьёзным препятствием. Оборудование для моделирования обходится дорого, а модели часто теряют производительность при внедрении в реальных условиях. В недавнем совместном исследовании, проведённом командой Ли Фэй-Фэй, NVIDIA GEAR Lab и Технологическим институтом Джорджии, представлено новое решение: Real2Sim.
Эта система, получившая название «SimFoundry», создает интерактивные, обучаемые и тестируемые робототехнические симуляции с использованием простых видеозаписей из реального мира. Выходя за рамки традиционной 3D-реконструкции, SimFoundry выполняет глубокий анализ сцены для автоматизации создания окружающей среды, что значительно сокращает усилия, необходимые для построения симуляций.

Основная инновация SimFoundry заключается в замкнутом цикле между «цифровыми двойниками» и «цифровыми родственниками». Система извлекает геометрические, физические и интерактивные данные из видеороликов для построения высокоточных цифровых двойников. Затем она автоматически варьирует внешний вид, расположение объектов и задачи, чтобы генерировать разнообразных цифровых «кузенов». Это позволяет разработчикам получать практически неограниченный объем обучающих данных из одного видеоролика, обеспечивая сквозное обучение и оценку стратегий в рамках симуляции.
Эксперименты подтверждают высокую прогностическую способность SimFoundry: результаты моделирования работы роботов точно соответствуют реальным. Что особенно важно, стратегии, обученные на этих синтетических данных, эффективно переносятся в реальную среду без донастройки («zero-shot»), демонстрируя превосходные результаты при решении сложных задач, таких как многоэтапные операции и координация двух рук.
Эта система с открытым исходным кодом, разработанная в соавторстве с ведущими экспертами в области робототехники, включая ключевых членов NVIDIA GEAR Lab и команды Ли Фэй-Фэй, обещает преобразовать разработку воплощённого ИИ. Заменив дорогостоящий ручной сбор данных генеративными технологиями, роботы теперь могут гораздо быстрее переходить из лаборатории к применению в реальных условиях.
Ссылка на статью: https://arxiv.org/pdf/2606.28276v1
Мира Мурати возвращается в центр внимания с осторожным подходом
Мира Мурати никогда не была естественным участником конференционной сцены. Будучи техническим директором OpenAI, она оставалась преимущественно за кулисами, редко выступая в качестве публичного лица компании. Теперь, возглавляя собственный проект Thi
Отчет Adobe Creator: 80 % респондентов считают, что ИИ способствует росту числа поклонников и развитию бизнеса
По мере того как искусственный интеллект ускоряет своё глобальное распространение, в сфере создания контента происходят коренные изменения. Инструменты творческого ИИ уже не просто оптимизируют рабочи
Google объявляет себя крупным игроком в области дизайна ИИ
На ежегодной конференции I/O во вторник Google представила Pics, новый инструмент для дизайна и создания изображений на основе искусственного интеллекта для Google Workspace. Компания заявляет, что приложение разработано с учетом доступности и предна











