구글의 Genie 월드 모델이 이제 스트리트 뷰로 실제 거리를 시뮬레이션합니다

대부분의 사람은 구글 스트리트 뷰를 사용해 친구에게 옛 동네를 보여주거나 작은 사람 아이콘을 파리에 떨어뜨려 호텔이 트렌디한 지역에 있는지 확인해본 경험이 있을 것입니다. 이제 그런 경험을 완전한 몰입감과 상호작용을 갖춘 상태로 경험해본다면 어떨까요? 거리와 주변 환경을 시뮬레이션하거나 날씨 조건을 조정하거나, 심지어 “내일 이후”와 같은 극단적인 시나리오를 시각화할 수도 있습니다.

구글의 최신 통합 기능 뒤에는 이러한 비전이 담겨 있습니다. 오늘부터 구글 딥마인드는 스트리트 뷰를 범용 세계 모델인 프로젝트 지니(Project Genie)와 연결합니다. 이 모델은 다양하고 상호작용 가능한 환경을 생성할 수 있는 능력을 갖추고 있습니다. 이 기능은 구글 I/O 개발자 컨퍼런스에서 처음 공개되었습니다.

“에이전트 및 로봇 공학 응용 분야는 물론 인간 탐색 모두에게 매우 강력한 도구입니다.”라고 딥마인스의 오픈 엔디드니스(Open-Endedness) 팀 연구원인 잭 파커홀더는 테크크런치와의 인터뷰에서 말했습니다. “그것이 지니의 핵심 아이디어였습니다.”

그는 런던에 새로 투입된 로봇을 예로 들어 이를 설명했습니다. 런던은 햇빛이 드문 곳입니다. 파커홀더에 따르면 지니는 빅토리아 시대 건물에서 햇빛이 반짝이는 드문 순간들을 시뮬레이션하여 갑작스러운 밝음에 로봇이 놀라지 않도록 할 수 있습니다.

“또는 ‘뉴욕시를 방문하지만 이번 계절은 아니다’라고 말할 수도 있습니다.”라고 그는 덧붙였습니다. “눈이 올 것입니다. 눈이 쌓인 그 블록이 어떤 모습인지 보고 싶습니다.”

구글은 지난 20년간 카메라가 장착된 차량과 ‘트래커 백팩’을 착용한 개인들을 통해 스트리트 뷰 데이터를 수집해 왔습니다. 이 기술 거인은 110개국과 전 대륙에서 2,800억 장 이상의 이미지를 축적했습니다.

“스트리트 뷰는 전 세계 방대한 부분의 이미지를 제공합니다.”라고 잭은 설명했습니다. “풍부한 실제 세계 데이터와 전체 세계를 시뮬레이션할 수 있는 능력을 결합하면 어떤 잠재력이 열릴지 상상해 보세요.”

지난 8월 구글은 연구용 미리보기 목적으로 지니 3을 출시했으며, 1월에는 미국의 구글 AI 울트라 구독자에게 접근 권한을 부여하여 텍스트 프롬프트나 이미지로부터 상호작용 가능한 게임 세계를 생성할 수 있게 했습니다. 목표는 지니를 교육 경험, 게임, 로봇 공학 훈련에 활용하는 것입니다.

지니 3은 이미 웨이모의 시뮬레이터 중 하나를 구동하여 토네이도나 예기치 않은 코끼리 조우와 같은 ‘극도로 드문 사건’에 대한 자율주행차 훈련을 지원하고 있습니다. 스트리트 뷰 데이터를 통합하면 웨이모가 더 많은 글로벌 도시에서 서비스를 출시하는 데 대비하는 데 도움이 될 수 있습니다.

웨이모는 자체 시뮬레이터를 사용하여 미국 내 11개 도시로 사업을 확장하고 여러 다른 도시에서 자체 AI 운전자를 테스트합니다. 파커홀더는 이러한 시뮬레이션이 차량의 관점에서 이루어지지만, 스트리트 뷰는 실제 위치에 기반한 세계를 시뮬레이션하고 인간이나 로봇과 같은 다른 에이전트로 시점을 전환할 수 있다고 지적합니다.

구글은 오늘 미국 내 선택된 울트라 사용자에게 스트리트 뷰를 지니에 출시하며, 전 세계 울트라 사용자에게는 향후 몇 주 내에 더 넓은 접근 권한이 제공될 것이라고 밝혔습니다.

딥마인드의 제품 관리자 디에고 리바스는 연구진이 이 기능을 널리 이용 가능하게 만드는 것을 목표로 한다고 밝혔습니다. 그는 스트리트 뷰와 일반적인 지니가 여전히 실험 단계이며 정확성 측면에서 개선할 여지가 크다고 경고했습니다.

구글이 시연한 데모(한때 제가 살았던 동네의 수중 시뮬레이션 포함)에서 결과는 인상적이고 식별 가능하지만 여전히 사진과 같은 현실감보다는 비디오 게임 그래픽에 가깝습니다. 또한 모델은 물리 법칙에 대한 인식이 부족하여 인과관계를 아직 이해하지 못합니다. 예를 들어, 눈 덮인 조슈아 트리를 달리는 여성의 시뮬레이션에서 그녀는 선인장과 관목을 통과해 지나갔습니다.

이것은 인포그래픽에서 완벽한 텍스트를 생성할 수 있는 구글의 이미지 생성기 나노 바나나(Nano Banana)나 종이 배가 물결에 떠다니고, 연기가 공기로 흩어지며, 천이 형태를 따라 흐르는 것을 이해하는 비디오 생성기 베오(Veo)와 대비됩니다.

물리 법칙은 이러한 모델에 하드코딩되어 있지 않습니다. 그들은 살아있는 존재처럼 수동적 관찰을 통해 시간이 지남에 따라 이를 직관적으로 학습합니다.

“저는 이러한 유형의 모델이 정확도와 품질 측면에서 비디오보다 6개월에서 12개월 뒤처져 있다고 믿습니다. 따라서 우리는 그 문제를 해결할 것이라고 생각합니다.”라고 파커홀더는 말했습니다.

12년 전 인턴으로 스트리트 뷰 팀에서 시작해 현재 구글 맵스의 책임자인 조나단 허버트는 지니가 아직 거리의 충실한 재구성을 생성할 수 없다고 지적했습니다. 그는 진정한 돌파구는 AI의 공간적 연속성에 있다고 믿습니다. 360도 회전하면 AI가 뒤의 환경을 올바르게 기억하고 시뮬레이션합니다. 그 기반 위에서 모델은 새로운 환경을 구축할 수 있습니다.

“우리는 오랫동안 스트리트 뷰 데이터를 사용하여 가장 좋고 가장 풍부한 세계 모델을 구축하는 방법을 고려해 왔습니다.”라고 허버트는 말했습니다. “맵스 데이터를 새로운 방식으로 그리고 새로운 유형의 AI 연구에 사용하는 것은 오랫동안 우리의 목표였습니다.”