8 nouveaux produits et mises à jour d'IA testées

À l'I/O, nous ne nous contentons pas de dévoiler une liste de mises à jour comme les nouveaux modèles Gemini, les agents d'IA et les ajustements d'Android — nous permettons réellement aux développeurs, aux journalistes et aux partenaires de plonger dans l'action avec des démonstrations pratiques des produits. Cette année, j'ai passé la journée à l'Amphithéâtre Shoreline, où se déroule l'I/O, et j'ai pu découvrir plusieurs de ces démonstrations. Voici un aperçu de quelques-unes d'entre elles.

Ma première démonstration de la journée était plutôt cool. J'ai vu Gemini Advanced s'attaquer à un bail immobilier de plus de 20 pages, rempli de jargon juridique et de clauses complexes. Après avoir traité le document, je pouvais poser des questions à ce sujet, comme savoir si mon propriétaire me permettrait d'avoir un chien ou s'il y avait des frais supplémentaires à payer. J'ai déjà hâte d'utiliser cette fonctionnalité pour comprendre mon prochain bail lorsque mon appartement sera à renouveler.

Ensuite, la démonstration est devenue encore plus impressionnante. Deux Googlers ont fourni à Gemini un PDF d'un manuel d'économie massif — des centaines de pages. Cela m'aurait pris une éternité à lire, mais Gemini a produit un résumé et a identifié les sujets clés à étudier en un rien de temps. Il a même créé un quiz à choix multiples, avec une réponse correcte et trois mauvaises réponses pièges, pour m'aider à me préparer à un examen hypothétique.

Les Googlers Sid Lall (à gauche) et Adam Kurzrok (à droite) montrent comment Gemini Advanced peut désormais résumer un manuel d'économie volumineux ou des milliers de pages de documents.

Ces deux démonstrations utilisaient Gemini 1.5 Pro, que nous avons présenté plus tôt cette année avec la fenêtre de contexte la plus longue de tout modèle de fondation à grande échelle. Nous déployons maintenant un accès anticipé à Gemini 1.5 Pro pour les abonnés à Gemini Advanced, leur permettant de télécharger des documents directement depuis Drive. Cela signifie qu'ils peuvent utiliser Gemini pour résumer ou analyser des documents allant jusqu'à 1 500 pages.

Gemini 1.5 Pro s'intègre également dans le panneau latéral des applications Workspace comme Gmail, Docs, Sheets, Slides et Drive. J'ai pu voir cela en action en utilisant Gemini dans Gmail pour résumer un courriel de rapport scolaire hebdomadaire fictif, et il a extrait des détails spécifiques comme les activités pour les élèves de 7e année et la liste de bagages pour un voyage de nuit.

Le panneau latéral de Gemini peut vous aider à répondre aux questions clés sur votre contenu dans Gmail, Drive et plus encore.

La fenêtre de contexte longue améliorée peut même extraire des informations de plusieurs documents en répondant à une seule invite. Dans Docs, j'ai demandé de l'aide pour rédiger une lettre type à un candidat potentiel à un emploi, en liant le document de description de poste et le portfolio PDF du candidat dans mon Drive. Gemini a instantanément rédigé un courriel qui prenait en compte les détails des deux documents.

Mais Gemini 1.5 Pro n'est pas le seul nouveau venu. J'ai également pu expérimenter avec Imagen 3, récemment annoncé, notre meilleur modèle texte-à-image à ce jour. Une fonctionnalité cool que j'ai testée était sa capacité à générer du texte décoratif et des lettres. J'ai demandé un alphabet stylisé, comme des lettres faites de confiture sur du pain grillé ou des ballons argentés flottant dans le ciel. Imagen 3 a produit un alphabet complet de lettres, que j'ai ensuite pu utiliser pour créer mes propres menus (savoureux).

Après m'être amusé avec Imagen 3, je suis revenu à d'autres démonstrations Gemini. Une démonstration m'a permis d'afficher l'overlay de Gemini sur un téléphone Android et de poser des questions sur n'importe quoi à l'écran. Cela montrait comment nous ne nous contentons pas d'élargir ce que vous pouvez demander à Gemini, mais le rendons également conscient du contexte pour anticiper vos besoins et offrir des suggestions utiles.

La démonstration utilisait un manuel de four volumineux comme exemple. Au lieu de me plonger dans le document, j'ai affiché Gemini et obtenu une suggestion "Poser une question sur ce PDF" immédiatement. J'ai posé des questions comme "comment mettre à jour l'horloge" et obtenu des réponses rapides et précises. Cela fonctionnait tout aussi bien avec des vidéos YouTube. Au lieu de regarder une vidéo d'entraînement de 20 minutes, j'ai demandé comment modifier les planches et obtenu une réponse en un clin d'œil, puis je suis passé à la démonstration suivante.

Cette démonstration suivante a présenté un nouveau mode de conversation appelé Gemini Live, où vous pouvez parler à Gemini dans l'application sans taper. Parler à Gemini était une expérience différente de l'interface de chatbot habituelle. Ses réponses étaient plus conversationnelles, pas seulement des paragraphes de texte ou des listes à puces. Dans ma démonstration, j'ai demandé une liste d'activités pour enfants pour des vacances d'été et j'ai pu interrompre la liste pour demander plus de détails sur les matériaux nécessaires pour teindre une chemise.

La démonstration de Project Astra a porté les choses à un niveau supérieur, montrant où se dirigent nos projets d'IA conversationnelle.

Notre Bac à sable IA, où les développeurs et les participants ont essayé des démonstrations comme Project Astra et d'autres expériences IA créatives, comme le mode DJ de MusicFX.

Au lieu de simplement travailler avec ce qui est sur votre écran ou ce que vous avez tapé dans une boîte de chat, les capacités multimodales d'Astra peuvent comprendre les invites vocales conversationnelles et les flux vidéo en direct en même temps, débloquant de nouveaux types d'expériences IA.

La démonstration d'allitération d'Astra a commencé simplement : je montrais à la caméra un objet, comme une banane ou un morceau de pain, et Gemini proposait une phrase allitérative. À mesure que j'ajoutais plus d'objets, Gemini poursuivait la conversation, passant de "Bananes brillantes brillent magnifiquement sur la planche" avec un seul fruit à "Créations culinaires captent l'œil" lorsqu'on lui présentait un buffet entier.

Astra joue avec les allitérations avec des bananes, des baguettes… et tout ce que vous pouvez lui montrer.

Une autre démonstration d'Astra m'a permis de jouer à Pictionary avec Gemini. Cela peut sembler simple, mais cela demandait à l'agent de comprendre les images, de se souvenir de ce qui avait été dessiné à chaque tour, et d'utiliser des connaissances générales pour deviner ce que je dessinais. Dans une démonstration, Astra savait qu'un cercle n'était pas suffisant pour baser une supposition, mais lorsque j'ai ajouté des lignes en dessous, il est rapidement passé de l'identification d'une figure en bâton à la reconnaissance d'une personne tenant un emoji de crâne comme étant Hamlet.

Astra est invincible à Pictionary.

Se déplacer dans le Bac à sable IA et les autres stations de démonstration donnait l'impression d'un aperçu de l'avenir. C'était aussi un peu humiliant : Astra m'a battu à Pictionary à plusieurs reprises !