Lar
Equipe de Li Feifei revela método para gerar campos de treinamento infinitos para robôs a partir de um único vídeo
Na inteligência incorporada, superar a lacuna entre a simulação e a realidade — conhecida como “Sim2Real” — tem sido, há muito tempo, um obstáculo persistente. As configurações de simulação são caras, e os modelos frequentemente perdem desempenho quando implantados em ambientes físicos. Um estudo colaborativo recente da equipe de Li Fei-Fei, do NVIDIA GEAR Lab e da Georgia Tech apresenta uma solução inovadora: o Real2Sim.
Chamado de “SimFoundry”, esse sistema cria simulações robóticas interativas, treináveis e testáveis usando vídeos simples do mundo real. Indo além da reconstrução 3D tradicional, o SimFoundry realiza uma análise profunda da cena para automatizar a criação do ambiente, reduzindo drasticamente o esforço necessário para construir simulações.

A principal inovação do SimFoundry envolve um ciclo fechado entre “gêmeos digitais” e “primos digitais”. O sistema extrai dados geométricos, físicos e interativos dos vídeos para construir gêmeos digitais de alta fidelidade. Em seguida, varia automaticamente a aparência, o layout e as tarefas para gerar diversos primos digitais. Isso permite que os desenvolvedores obtenham dados de treinamento praticamente ilimitados a partir de um único vídeo, possibilitando o aprendizado e a avaliação de estratégias de ponta a ponta dentro da simulação.
Experimentos confirmam o forte poder preditivo do SimFoundry, com o desempenho simulado do robô correspondendo de perto aos resultados do mundo real. Fundamentalmente, as estratégias treinadas com esses dados sintéticos se transferem efetivamente para a realidade sem necessidade de ajuste fino (“zero-shot”), destacando-se em tarefas complexas, como operações em várias etapas e coordenação de dois braços.
De autoria conjunta de especialistas líderes em robótica, incluindo membros-chave do NVIDIA GEAR Lab e da equipe de Li Fei-Fei, esse sistema de código aberto promete transformar o desenvolvimento da IA incorporada. Ao substituir a dispendiosa coleta manual de dados por tecnologia generativa, os robôs agora podem fazer a transição do laboratório para aplicações no mundo real com muito mais rapidez.
Link do artigo: https://arxiv.org/pdf/2606.28276v1
Artigo relacionado
Mira Murati volta para os holofotes com uma abordagem cuidadosa
Mira Murati nunca se encaixou naturalmente no circuito de conferências. Como CTO da OpenAI, ela permaneceu amplamente nos bastidores, raramente atuando como o rosto público da empresa. Agora liderando seu próprio empreendimento, a Thinking Machines L
Relatório da Adobe Creator: 80% afirmam que a IA impulsiona o crescimento da base de fãs e dos negócios
À medida que a inteligência artificial acelera sua expansão global, o setor de criação de conteúdo passa por uma transformação fundamental. As ferramentas criativas de IA não são mais apenas facilitad
O Google declara-se um grande jogador no design de IA
Na sua conferência anual I/O na terça-feira, a Google apresentou o Pics, uma nova ferramenta de design e criação de imagens impulsionada por IA para o Google Workspace. A empresa afirma que o aplicativo foi desenvolvido para ser acessível, atendendo
Recomendações de tópicos especiais relacionados
Comentários (0)
Na inteligência incorporada, superar a lacuna entre a simulação e a realidade — conhecida como “Sim2Real” — tem sido, há muito tempo, um obstáculo persistente. As configurações de simulação são caras, e os modelos frequentemente perdem desempenho quando implantados em ambientes físicos. Um estudo colaborativo recente da equipe de Li Fei-Fei, do NVIDIA GEAR Lab e da Georgia Tech apresenta uma solução inovadora: o Real2Sim.
Chamado de “SimFoundry”, esse sistema cria simulações robóticas interativas, treináveis e testáveis usando vídeos simples do mundo real. Indo além da reconstrução 3D tradicional, o SimFoundry realiza uma análise profunda da cena para automatizar a criação do ambiente, reduzindo drasticamente o esforço necessário para construir simulações.

A principal inovação do SimFoundry envolve um ciclo fechado entre “gêmeos digitais” e “primos digitais”. O sistema extrai dados geométricos, físicos e interativos dos vídeos para construir gêmeos digitais de alta fidelidade. Em seguida, varia automaticamente a aparência, o layout e as tarefas para gerar diversos primos digitais. Isso permite que os desenvolvedores obtenham dados de treinamento praticamente ilimitados a partir de um único vídeo, possibilitando o aprendizado e a avaliação de estratégias de ponta a ponta dentro da simulação.
Experimentos confirmam o forte poder preditivo do SimFoundry, com o desempenho simulado do robô correspondendo de perto aos resultados do mundo real. Fundamentalmente, as estratégias treinadas com esses dados sintéticos se transferem efetivamente para a realidade sem necessidade de ajuste fino (“zero-shot”), destacando-se em tarefas complexas, como operações em várias etapas e coordenação de dois braços.
De autoria conjunta de especialistas líderes em robótica, incluindo membros-chave do NVIDIA GEAR Lab e da equipe de Li Fei-Fei, esse sistema de código aberto promete transformar o desenvolvimento da IA incorporada. Ao substituir a dispendiosa coleta manual de dados por tecnologia generativa, os robôs agora podem fazer a transição do laboratório para aplicações no mundo real com muito mais rapidez.
Link do artigo: https://arxiv.org/pdf/2606.28276v1
Mira Murati volta para os holofotes com uma abordagem cuidadosa
Mira Murati nunca se encaixou naturalmente no circuito de conferências. Como CTO da OpenAI, ela permaneceu amplamente nos bastidores, raramente atuando como o rosto público da empresa. Agora liderando seu próprio empreendimento, a Thinking Machines L
Relatório da Adobe Creator: 80% afirmam que a IA impulsiona o crescimento da base de fãs e dos negócios
À medida que a inteligência artificial acelera sua expansão global, o setor de criação de conteúdo passa por uma transformação fundamental. As ferramentas criativas de IA não são mais apenas facilitad
O Google declara-se um grande jogador no design de IA
Na sua conferência anual I/O na terça-feira, a Google apresentou o Pics, uma nova ferramenta de design e criação de imagens impulsionada por IA para o Google Workspace. A empresa afirma que o aplicativo foi desenvolvido para ser acessível, atendendo











