Le modèle de monde Genie de Google simule désormais de vraies rues avec Street View

La plupart d’entre nous avons utilisé Google Street View pour montrer à un ami notre ancien quartier ou avons fait glisser la petite icône de personne à Paris pour vérifier si notre hôtel se trouvait dans un quartier branché. Imaginez maintenant vivre cette expérience avec une immersion totale et une interactivité complète, simulant la rue et ses environs, en ajustant les conditions météorologiques ou même en visualisant des scénarios extrêmes comme ceux présentés dans « Le Jour d’après ».

Telle est la vision derrière l’intégration la plus récente de Google. À partir d’aujourd’hui, Google DeepMind associe Street View à Project Genie, son modèle du monde polyvalent capable de générer des environnements diversifiés et interactifs. Cette fonctionnalité a été présentée lors de la conférence pour les développeurs Google I/O.

« C’est incroyablement puissant tant pour les applications d’agents et de robotique que pour l’exploration humaine », a déclaré Jack Parker-Holder, chercheur scientifique au sein de l’équipe sur l’ouverture de DeepMind, s’exprimant auprès de TechCrunch. « C’est toujours l’idée centrale derrière Genie. »

Il a illustré cela avec un scénario impliquant un nouveau robot déployé à Londres, où le soleil est rare. Selon Parker-Holder, Genie peut simuler ces moments rares où la lumière du soleil scintille sur les bâtiments victoriens, garantissant que le robot ne soit pas surpris par une luminosité soudaine.

« Ou bien, vous pourriez dire : “Je visite New York, mais pas en cette saison”, a-t-il ajouté. “Il va neiger. Je veux voir à quoi ressemble ce bloc sous la neige.” »

Depuis deux décennies, Google collecte des données Street View à l’aide de voitures équipées de caméras et d’individus portant des « sacs à dos traceurs ». Le géant de la technologie a accumulé plus de 280 milliards d’images dans 110 pays et sur les sept continents.

« Street View nous fournit des images d’une grande partie du monde », a expliqué Jack. « Imaginez le potentiel de combiner ces riches données du monde réel avec la capacité de simuler des mondes entiers. »

En août dernier, Google a publié Genie 3 pour un aperçu de recherche, et en janvier, il a accordé l’accès aux abonnés Google AI Ultra aux États-Unis, leur permettant de créer des mondes de jeux interactifs à partir de invites textuelles ou d’images. L’objectif est d’utiliser Genie pour des expériences éducatives, des jeux vidéo et l’entraînement en robotique.

Genie 3 alimente déjà l’un des simulateurs de Waymo pour entraîner les voitures autonomes sur des « événements extrêmement rares » tels que des tornades ou des rencontres inattendues avec des éléphants. L’intégration des données Street View pourrait aider Waymo à se préparer à des lancements dans davantage de villes mondiales.

Waymo utilise son propre simulateur pour étendre ses opérations à 11 villes américaines et tester son conducteur IA dans plusieurs autres. Parker-Holder note que bien que ces simulations soient du point de vue de la voiture, Street View permet de simuler un monde ancré à un emplacement réel et de déplacer le point de vue vers d’autres agents, tels que des humains ou des robots.

Google déploie Street View dans Genie pour certains utilisateurs Ultra aux États-Unis dès aujourd’hui, avec un accès plus large pour les utilisateurs Ultra dans le monde entier dans les prochaines semaines, selon l’entreprise.

Diego Rivas, responsable produit chez DeepMind, a déclaré que les chercheurs visent à rendre cette capacité largement disponible. Il a mis en garde en indiquant que Street View, et Genie en général, reste expérimental, avec une marge significative d’amélioration en termes de précision.

Dans les démonstrations présentées par Google, y compris une simulation sous-marine d’un quartier où j’ai vécu, les résultats sont impressionnants et reconnaissables mais ressemblent encore à des graphismes de jeux vidéo plutôt qu’à du photoréalisme. Les modèles manquent également de conscience physique, ce qui signifie qu’ils ne comprennent pas encore la causalité. Par exemple, dans une simulation d’une femme courant à travers le Joshua Tree enneigé, elle est passée directement à travers des cactus et des buissons.

Contrastez cela avec le générateur d’images de Google Nano Banana, qui peut désormais générer un texte parfait dans des infographies, ou son générateur de vidéos Veo, qui comprend que les bateaux en papier dérivent sur les courants d’eau, que la fumée se disperse dans l’air et que le tissu se drapent sur les formes.

La physique n’est pas codée en dur dans ces modèles ; ils l’apprennent intuitivement au fil du temps par observation passive, tout comme un être vivant.

« Je pense que ce type de modèle est en retard de six à douze mois par rapport aux vidéos en termes de précision et de qualité, donc je pense que nous résoudrons cela », a déclaré Parker-Holder.

Jonathan Herbert, directeur de Google Maps qui a commencé sur l’équipe Street View en tant que stagiaire il y a 12 ans, a noté que Genie ne peut pas encore créer une reconstruction fidèle d’une rue. Il estime que la véritable avancée réside dans la continuité spatiale de l’IA : si vous tournez sur 360 degrés, l’IA se souvient correctement et simule l’environnement derrière vous. À partir de là, le modèle peut construire un nouvel environnement sur cette base.

« Nous avons longtemps considéré comment construire le meilleur et le plus riche modèle du monde en utilisant les données Street View », a déclaré Herbert. « Cela fait un certain temps que notre objectif est d’utiliser les données Maps de nouvelles manières et pour de nouveaux types de recherche en IA. »