Le mode AI de Google peut maintenant voir et rechercher avec des images

Google améliore son chatbot AI Mode avec de nouvelles capacités multimodales, lui permettant de "voir" et de répondre aux questions sur les images. Cette mise à jour, qui intègre une version personnalisée de Gemini AI avec la technologie de reconnaissance d'images Lens de Google, permet aux utilisateurs de prendre ou de télécharger des photos et de recevoir des réponses détaillées et informatives accompagnées de liens pertinents. Le déploiement de cette fonctionnalité a commencé aujourd'hui et est accessible via l'application Google sur les appareils Android et iOS.

Robby Stein, vice-président des produits pour Google Search, explique : "AI Mode s'appuie sur nos années de travail dans la recherche visuelle, mais va encore plus loin. Avec les capacités multimodales de Gemini, AI Mode peut désormais comprendre l'ensemble de la scène dans une image, y compris la manière dont les objets interagissent et leurs matériaux, couleurs, formes et agencements spécifiques."

La mise à jour utilise une "technique de déploiement" qui envoie plusieurs requêtes sur l'image et ses éléments, ce qui donne des réponses à la fois nuancées et contextuellement pertinentes. Cela permet à AI Mode d'identifier des objets comme des livres dans une image, de suggérer des titres similaires avec de bonnes critiques, et même de répondre à des questions complémentaires pour affiner les recommandations.

Conçu comme un concurrent de Perplexity et ChatGPT Search, AI Mode offre une expérience de type chatbot, générant des résumés alimentés par l'IA à partir de l'immense index de recherche de Google. Initialement exclusif aux abonnés Google One AI Premium via Labs le mois dernier, AI Mode s'étend désormais à "des millions d'autres" utilisateurs de Labs aux États-Unis, au-delà des seuls abonnés payants AI Premium.