리 페이페이 연구팀, 단일 영상으로 무한한 로봇 훈련장을 생성하는 방법 공개
체화 지능 분야에서, 시뮬레이션과 현실 간의 격차를 해소하는 일—일명 “Sim2Real”—은 오랫동안 해결되지 않은 난제로 남아 있었습니다. 시뮬레이션 환경 구축에는 막대한 비용이 소요되며, 모델은 실제 환경에 적용될 때 성능이 저하되는 경우가 빈번합니다. 리 페이페이(Li Fei-Fei) 연구팀, NVIDIA GEAR Lab, 조지아 공과대학교(Georgia Tech)가 공동으로 진행한 최근 연구에서는 ‘Real2Sim’이라는 새로운 해결책을 제시했다.
“SimFoundry”라고 명명된 이 시스템은 단순한 실제 영상 자료를 활용해 상호작용이 가능하고, 학습 및 테스트가 가능한 로봇 시뮬레이션을 생성합니다. SimFoundry는 기존의 3D 재구성을 뛰어넘어 심층 장면 분석을 수행하여 환경 생성을 자동화함으로써, 시뮬레이션 구축에 필요한 노력을 획기적으로 줄여줍니다.

SimFoundry의 핵심 혁신은 “디지털 트윈”과 “디지털 사촌” 간의 폐쇄 루프에 있습니다. 이 시스템은 영상에서 기하학적, 물리적, 상호작용 데이터를 추출하여 고충실도 디지털 트윈을 구축합니다. 그런 다음 외관, 레이아웃, 작업을 자동으로 변화시켜 다양한 디지털 사촌을 생성합니다. 이를 통해 개발자는 단일 영상에서 사실상 무제한의 훈련 데이터를 도출할 수 있으며, 시뮬레이션 내에서 종단간 전략 학습 및 평가가 가능해집니다.
실험 결과, 시뮬레이션된 로봇 성능이 실제 결과와 매우 유사하게 나타나는 것으로 확인되어 SimFoundry의 강력한 예측 능력이 입증되었습니다. 무엇보다도, 이 합성 데이터로 훈련된 전략은 미세 조정 없이도("제로샷") 현실에 효과적으로 적용되며, 다단계 작업 및 양팔 협동과 같은 복잡한 작업에서 뛰어난 성능을 발휘합니다.
NVIDIA GEAR Lab 및 리 페이페이(Li Fei-Fei) 연구팀의 핵심 구성원을 비롯한 선도적인 로봇 공학 전문가들이 공동 저자로 참여한 이 오픈소스 시스템은 신체 기반 AI 개발에 혁신을 가져올 것으로 기대됩니다. 비용이 많이 드는 수동 데이터 수집을 생성형 기술로 대체함으로써, 로봇은 이제 실험실에서 실제 응용 분야로 훨씬 더 빠르게 전환될 수 있게 되었습니다.
논문 링크: https://arxiv.org/pdf/2606.28276v1
관련 기사
상원, 데이터센터 전력요금 공개 요구
미 상원의자 두 명이 데이터 센터와 그들의 에너지 소비에 대한 캠페인을 격화하며, 목요일 미국 에너지정보청(EIA)에 서한을 보냈습니다. 상원의원 조 호울리와 엘리자베스 워렌은 해당 기관이 데이터 센터의 에너지 사용량과 전력망에 미치는 영향에 대한 상세 정보를 수집하도록 요청했습니다.TechCrunch이 검토한 서한에서 상원의원들은 EIA에 “데이터 센터와 기타 대규모 부하에 대한 연간 의무 보고 요구사항을 마련하라”고 촉구했습니다. 그들은
미라 무라티가 신중한 접근 방식으로 다시 주목을 받다
Mira Murati는 결코 컨퍼런스 순회에는 어울리지 않는 인물이었다. OpenAI의 CTO로서 그녀는 주로 뒷배에서 활동하며 회사의 대변인 역할을 거의 하지 않았다. 이제 자신의 벤처 기업인 Thinking Machines Lab을 이끌고 있는 그녀는 더욱 접근하기 어려운 존재가 되었다. 목요일 샌프란시스코에서 열린 블룸버그와의 최근 인터뷰는 약 18개월 만에 그녀의 첫 주요 미디어 출연이었음에도 불구하고, 그녀가 과도한 정보를 공개하는 것
어도비 크리에이터 보고서: 응답자의 80%가 AI가 팬층 확대와 비즈니스 성장을 주도한다고 답함
인공지능이 전 세계적으로 빠르게 확산됨에 따라 콘텐츠 제작 분야는 근본적인 변화를 겪고 있습니다. 창의적 AI 도구는 더 이상 단순한 업무 효율화 수단에 그치지 않고, 비즈니스 성장을 주도하며 크리에이터들이 더 많은 시청자를 확보할 수 있도록 돕고 있습니다.생산성 및 경쟁력 강화어도비(Adobe)가 최근 발표한 ‘2026 크리에이터 툴킷 보고서(2026 C
관련 특별 주제 추천
의견 (0)
0/500
체화 지능 분야에서, 시뮬레이션과 현실 간의 격차를 해소하는 일—일명 “Sim2Real”—은 오랫동안 해결되지 않은 난제로 남아 있었습니다. 시뮬레이션 환경 구축에는 막대한 비용이 소요되며, 모델은 실제 환경에 적용될 때 성능이 저하되는 경우가 빈번합니다. 리 페이페이(Li Fei-Fei) 연구팀, NVIDIA GEAR Lab, 조지아 공과대학교(Georgia Tech)가 공동으로 진행한 최근 연구에서는 ‘Real2Sim’이라는 새로운 해결책을 제시했다.
“SimFoundry”라고 명명된 이 시스템은 단순한 실제 영상 자료를 활용해 상호작용이 가능하고, 학습 및 테스트가 가능한 로봇 시뮬레이션을 생성합니다. SimFoundry는 기존의 3D 재구성을 뛰어넘어 심층 장면 분석을 수행하여 환경 생성을 자동화함으로써, 시뮬레이션 구축에 필요한 노력을 획기적으로 줄여줍니다.

SimFoundry의 핵심 혁신은 “디지털 트윈”과 “디지털 사촌” 간의 폐쇄 루프에 있습니다. 이 시스템은 영상에서 기하학적, 물리적, 상호작용 데이터를 추출하여 고충실도 디지털 트윈을 구축합니다. 그런 다음 외관, 레이아웃, 작업을 자동으로 변화시켜 다양한 디지털 사촌을 생성합니다. 이를 통해 개발자는 단일 영상에서 사실상 무제한의 훈련 데이터를 도출할 수 있으며, 시뮬레이션 내에서 종단간 전략 학습 및 평가가 가능해집니다.
실험 결과, 시뮬레이션된 로봇 성능이 실제 결과와 매우 유사하게 나타나는 것으로 확인되어 SimFoundry의 강력한 예측 능력이 입증되었습니다. 무엇보다도, 이 합성 데이터로 훈련된 전략은 미세 조정 없이도("제로샷") 현실에 효과적으로 적용되며, 다단계 작업 및 양팔 협동과 같은 복잡한 작업에서 뛰어난 성능을 발휘합니다.
NVIDIA GEAR Lab 및 리 페이페이(Li Fei-Fei) 연구팀의 핵심 구성원을 비롯한 선도적인 로봇 공학 전문가들이 공동 저자로 참여한 이 오픈소스 시스템은 신체 기반 AI 개발에 혁신을 가져올 것으로 기대됩니다. 비용이 많이 드는 수동 데이터 수집을 생성형 기술로 대체함으로써, 로봇은 이제 실험실에서 실제 응용 분야로 훨씬 더 빠르게 전환될 수 있게 되었습니다.
논문 링크: https://arxiv.org/pdf/2606.28276v1
상원, 데이터센터 전력요금 공개 요구
미 상원의자 두 명이 데이터 센터와 그들의 에너지 소비에 대한 캠페인을 격화하며, 목요일 미국 에너지정보청(EIA)에 서한을 보냈습니다. 상원의원 조 호울리와 엘리자베스 워렌은 해당 기관이 데이터 센터의 에너지 사용량과 전력망에 미치는 영향에 대한 상세 정보를 수집하도록 요청했습니다.TechCrunch이 검토한 서한에서 상원의원들은 EIA에 “데이터 센터와 기타 대규모 부하에 대한 연간 의무 보고 요구사항을 마련하라”고 촉구했습니다. 그들은
미라 무라티가 신중한 접근 방식으로 다시 주목을 받다
Mira Murati는 결코 컨퍼런스 순회에는 어울리지 않는 인물이었다. OpenAI의 CTO로서 그녀는 주로 뒷배에서 활동하며 회사의 대변인 역할을 거의 하지 않았다. 이제 자신의 벤처 기업인 Thinking Machines Lab을 이끌고 있는 그녀는 더욱 접근하기 어려운 존재가 되었다. 목요일 샌프란시스코에서 열린 블룸버그와의 최근 인터뷰는 약 18개월 만에 그녀의 첫 주요 미디어 출연이었음에도 불구하고, 그녀가 과도한 정보를 공개하는 것
어도비 크리에이터 보고서: 응답자의 80%가 AI가 팬층 확대와 비즈니스 성장을 주도한다고 답함
인공지능이 전 세계적으로 빠르게 확산됨에 따라 콘텐츠 제작 분야는 근본적인 변화를 겪고 있습니다. 창의적 AI 도구는 더 이상 단순한 업무 효율화 수단에 그치지 않고, 비즈니스 성장을 주도하며 크리에이터들이 더 많은 시청자를 확보할 수 있도록 돕고 있습니다.생산성 및 경쟁력 강화어도비(Adobe)가 최근 발표한 ‘2026 크리에이터 툴킷 보고서(2026 C





집






