"8 nouveaux produits et mises à jour d'IA testées"

# ai

À l'E / S, nous ne déploions pas seulement une liste de mises à jour comme les nouveaux modèles Gemini, les agents d'IA et les ajustements Android - nous laissons en fait les développeurs, les journalistes et les partenaires plonger dans l'action avec des démos de produits pratiques. Cette année, j'ai pu passer la journée à Shoreline Amphitheatre, où les E / S ont lieu, et j'ai pu découvrir un tas de ces démos. Voici la baisse de quelques-uns d'entre eux. Ma première démo de la journée était plutôt cool. J'ai regardé Gemini Advanced s'attaquer à un bail de propriété de plus de 20 pages, plein de jargon juridique et de clauses délicates. Après avoir traité le document, je pouvais poser des questions à ce sujet, comme si mon propriétaire me laisserait un chien de compagnie ou s'il y avait des frais supplémentaires, j'aurais besoin de payer. J'ai déjà hâte d'utiliser cette fonctionnalité pour donner un sens à mon prochain bail lorsque mon appartement est en train de renouveler. Ensuite, la démo est devenue encore plus impressionnante. Deux Googlers ont nourri Gemini un PDF d'un manuel d'économie massif - des centaines de pages. Il m'aurait fallu des âges pour le lire, mais Gemini a fouetté un résumé et a souligné les sujets clés pour étudier en un rien de temps. Il a même lancé un quiz à choix multiple, avec une bonne réponse et trois mauvais délicats, pour m'aider à me préparer à un examen hypothétique. Googlers Sid Lall (à gauche) et Adam Kurzrok (à droite) démontrent comment Gemini Advanced peut désormais résumer un manuel économique lourd ou des milliers de pages de documents. Ces deux démos ont utilisé Gemini 1.5 Pro, que nous avons introduit plus tôt cette année avec la fenêtre de contexte la plus longue de tout modèle de fondation à grande échelle. Nous déploions maintenant un accès précoce à Gemini 1.5 Pro pour les abonnés Gemini Advanced, ce qui les permet de télécharger des documents directement à partir de Drive. Cela signifie qu'ils peuvent utiliser des Gémeaux pour résumer ou analyser des documents jusqu'à 1 500 pages. Gemini 1.5 Pro fait également son chemin dans le panneau latéral d'applications d'espace de travail comme Gmail, Docs, Sheets, Diapositives et Drive. J'ai pu voir cela en action en utilisant des Gemini à Gmail pour résumer un exemple de courrier électronique de rapport scolaire hebdomadaire, et il a émis des détails spécifiques tels que des activités pour les élèves de 7e année et la liste des emballages pour un voyage de nuit. Le panneau latéral de Gemini peut vous aider à répondre à des questions clés sur votre contenu dans Gmail, Drive et plus encore. La fenêtre de contexte longue améliorée peut même extraire des informations à partir de plusieurs documents lors de la réponse à une seule invite. Dans DOCS, j'ai demandé de l'aide à la rédaction d'un exemple de lettre à un candidat potentiel, liant le document de description du poste et le portefeuille PDF du demandeur dans mon lecteur. Gemini a instantanément rédigé un e-mail qui a pris en compte les détails des deux documents. Mais Gemini 1.5 Pro n'est pas le seul nouveau gamin sur le bloc. J'ai également pu jouer avec l'imagen 3 nouvellement annoncé, notre meilleur modèle de texte à l'image. Une fonctionnalité intéressante que j'ai essayée était sa capacité à générer du texte décoratif et des lettres. J'ai demandé un alphabet stylisé, comme des lettres faites de confiture sur du pain grillé ou des ballons en argent flottant dans le ciel. Imagen 3 a produit un alphabet complet de lettres, que je pourrais ensuite utiliser pour créer mes propres menus (savoureux). Après mon plaisir avec Imagen 3, j'ai sauté dans plus de démos Gémeaux. Une démonstration me permettait de retirer la superposition de Gemini sur un téléphone Android et de poser des questions sur quoi que ce soit à l'écran. Cela a montré comment nous n'élargissons pas seulement ce que vous pouvez demander les Gémeaux, mais aussi le contexte de prévoir vos besoins et d'offrir des suggestions utiles. La démo a utilisé un long manuel de four à titre d'exemple. Au lieu de passer à travers le document, j'ai arrêté les Gémeaux et j'ai tout de suite obtenu une suggestion de "demandez ce PDF". J'ai posé des questions comme "comment puis-je mettre à jour l'horloge" et j'ai obtenu des réponses rapides et précises. Cela a aussi bien fonctionné avec les vidéos YouTube. Au lieu de regarder une vidéo d'entraînement de 20 minutes, j'ai demandé comment modifier les planches et obtenir une réponse en un clin d'œil, puis je suis passé à la démo suivante. Cette prochaine démo a introduit un nouveau mode de conversation appelé Gemini Live, où vous pouvez parler à Gemini dans l'application sans taper. Parler à Gemini était une ambiance différente de l'interface de chatbot habituelle. Ses réponses étaient plus conversationnelles, pas seulement des paragraphes de texte ou de listes à balles. Dans ma démo, j'ai demandé une liste des activités pour enfants pour des vacances d'été et j'ai pu interrompre la liste pour demander plus sur les matériaux dont j'avais besoin pour faire du lien avec une chemise. Le projet Astra Demo a fait passer les choses au niveau supérieur, montrant où se dirigent nos projets de l'IA conversationnelle. Notre bac à sable AI, où les développeurs et les participants ont essayé des démos comme Project Astra et d'autres expériences créatives d'IA, comme le mode DJ de MusicFX. Au lieu de simplement travailler avec ce qui est sur votre écran ou ce que vous avez tapé dans une boîte de discussion, les capacités multimodales d'Astra peuvent comprendre les invites de discours conversationnelles et les flux vidéo en direct en même temps, déverrouillant de nouveaux types d'expériences d'IA. La démo d'allitération d'Astra a commencé simple: j'ai montré à la caméra un objet, comme une banane ou un morceau de pain, et les Gémeaux ont trouvé une phrase allitérative. En ajoutant plus d'objets, Gemini a gardé la conversation en cours, des "bananes brillantes se prélasser magnifiquement sur la planche" avec un seul fruit à "les créations culinaires peuvent attirer l'attention" lorsqu'ils sont présentés avec une planche de buffet entière. Astra allitére avec les bananes, les baguettes… et tout ce que vous pouvez le montrer. Une autre démo Astra m'a permis de jouer au picatrice avec les Gémeaux. Cela peut sembler simple, mais cela a obligé l'agent à comprendre les images, à vous souvenir de ce qui avait été dessiné à chaque tour et à utiliser les connaissances générales pour deviner ce que je dessimais. Dans une démo, Astra savait qu'un cercle n'était pas suffisant pour faire une supposition, mais alors que j'ai ajouté des lignes en dessous, il est rapidement passé de l'identification d'une figure de bâton à reconnaître qu'une personne tenant un emoji crâne était du hameau. Astra est invaincue à Pictionary. Se déplacer dans le bac à sable AI et d'autres stations de démonstration ressemblait à un coup d'œil dans le futur. C'était aussi un peu humiliant: Astra m'a battu à Pictionary en plusieurs tours!

Article connexe

commentaires (35)