8 neue KI -Produkte und -Anupdates getestet

Bei I/O präsentieren wir nicht nur eine Liste von Updates wie neue Gemini-Modelle, KI-Agenten und Android-Anpassungen – wir lassen Entwickler, Reporter und Partner direkt in die Action eintauchen mit praktischen Produktdemos. Dieses Jahr durfte ich den Tag im Shoreline Amphitheatre verbringen, wo I/O stattfindet, und ich konnte eine Reihe dieser Demos ausprobieren. Hier ist ein Überblick über einige davon.

Meine erste Demo des Tages war ziemlich cool. Ich sah, wie Gemini Advanced einen über 20-seitigen Mietvertrag voller juristischer Fachbegriffe und kniffliger Klauseln verarbeitete. Nachdem das Dokument verarbeitet war, konnte ich Fragen dazu stellen, wie etwa, ob mein Vermieter mir erlauben würde, einen Hund zu halten, oder ob zusätzliche Gebühren anfallen würden. Ich freue mich schon darauf, diese Funktion zu nutzen, um meinen nächsten Mietvertrag zu verstehen, wenn meine Wohnung zur Verlängerung ansteht.

Die nächste Demo war noch beeindruckender. Zwei Googler gaben Gemini ein PDF eines riesigen Wirtschaftslehrbuchs – Hunderte von Seiten lang. Es hätte mich ewig gedauert, das durchzulesen, aber Gemini erstellte in kürzester Zeit eine Zusammenfassung und wies auf die wichtigsten Themen hin, die man lernen sollte. Es stellte sogar ein Multiple-Choice-Quiz zusammen, komplett mit einer richtigen Antwort und drei kniffligen falschen Antworten, um mich auf eine hypothetische Prüfung vorzubereiten.

Googler Sid Lall (links) und Adam Kurzrok (rechts) demonstrieren, wie Gemini Advanced jetzt ein umfangreiches Wirtschaftslehrbuch oder Tausende von Seiten an Dokumenten zusammenfassen kann.

Beide Demos nutzten Gemini 1.5 Pro, das wir Anfang dieses Jahres mit dem längsten Kontextfenster aller großen Basismodelle vorgestellt haben. Wir rollen jetzt den frühen Zugang zu Gemini 1.5 Pro für Gemini Advanced-Abonnenten aus, sodass sie Dokumente direkt aus Drive hochladen können. Das bedeutet, sie können Gemini nutzen, um Dokumente mit bis zu 1.500 Seiten zu analysieren oder zusammenzufassen.

Gemini 1.5 Pro findet auch seinen Weg in die Seitenleiste von Workspace-Apps wie Gmail, Docs, Sheets, Slides und Drive. Ich konnte das in Aktion sehen, indem ich Gemini in Gmail nutzte, um eine Beispiel-Wochenschulbericht-E-Mail zusammenzufassen, und es zog spezifische Details heraus, wie Aktivitäten für Siebtklässler und die Packliste für einen Übernachtungsausflug.

Die Seitenleiste von Gemini kann Ihnen helfen, wichtige Fragen zu Ihren Inhalten in Gmail, Drive und mehr zu beantworten.

Das verbesserte lange Kontextfenster kann sogar Informationen aus mehreren Dokumenten ziehen, wenn es auf eine einzige Eingabe antwortet. In Docs bat ich um Hilfe beim Schreiben eines Beispielschreibens an einen potenziellen Bewerber, mit Verlinkung auf die Stellenbeschreibung und das PDF-Portfolio des Bewerbers in meinem Drive. Gemini erstellte sofort eine E-Mail, die Details aus beiden Dokumenten berücksichtigte.

Aber Gemini 1.5 Pro ist nicht der einzige Neuling. Ich konnte auch mit dem neu angekündigten Imagen 3 herumspielen, unserem bisher besten Text-zu-Bild-Modell. Eine coole Funktion, die ich ausprobierte, war die Fähigkeit, dekorative Texte und Buchstaben zu generieren. Ich bat um ein stilisiertes Alphabet, wie Buchstaben aus Marmelade auf Toast oder silberne Ballons, die am Himmel schweben. Imagen 3 lieferte ein vollständiges Alphabet von Buchstaben, das ich dann nutzen konnte, um meine eigenen (lecker aussehenden) Menüs zu erstellen.

Nach meinem Spaß mit Imagen 3 sprang ich zurück zu weiteren Gemini-Demos. Eine Demo ließ mich das Gemini-Overlay auf einem Android-Handy aufrufen und Fragen zu allem stellen, was auf dem Bildschirm war. Dies zeigte, wie wir nicht nur erweitern, was Sie Gemini fragen können, sondern es auch kontextbewusst machen, um Ihre Bedürfnisse vorherzusehen und hilfreiche Vorschläge anzubieten.

Die Demo nutzte ein ausführliches Ofenhandbuch als Beispiel. Anstatt mich durch das Dokument zu quälen, rief ich Gemini auf und bekam sofort den Vorschlag „Dieses PDF fragen“. Ich stellte Fragen wie „Wie aktualisiere ich die Uhr“ und erhielt schnell präzise Antworten. Es funktionierte genauso gut mit YouTube-Videos. Anstatt ein 20-minütiges Workout-Video anzusehen, fragte ich, wie man Planks modifizieren kann, und bekam sofort eine Antwort, bevor ich zur nächsten Demo überging.

Diese nächste Demo stellte einen neuen Konversationsmodus namens Gemini Live vor, bei dem Sie mit Gemini in der App sprechen können, ohne zu tippen. Mit Gemini zu sprechen war eine andere Erfahrung als die übliche Chatbot-Oberfläche. Die Antworten waren gesprächiger, nicht nur Textabsätze oder Aufzählungslisten. In meiner Demo bat ich um eine Liste von Kinderaktivitäten für einen Sommerurlaub und konnte die Liste unterbrechen, um mehr über die benötigten Materialien für das Batiken eines T-Shirts zu fragen.

Die Project Astra-Demo brachte die Dinge auf die nächste Stufe und zeigte, wohin unsere konversationellen KI-Projekte steuern.

Unser AI Sandbox, wo Entwickler und Teilnehmer Demos wie Project Astra und andere kreative KI-Experimente wie den DJ-Modus von MusicFX ausprobierten.

Anstatt nur mit dem zu arbeiten, was auf Ihrem Bildschirm ist oder was Sie in ein Chatfeld eingegeben haben, können die multimodalen Fähigkeiten von Astra gesprochene Konversationseingaben und Live-Video-Feeds gleichzeitig verstehen und neue Arten von KI-Erfahrungen ermöglichen.

Die Alliterations-Demo von Astra begann einfach: Ich zeigte der Kamera ein Objekt, wie eine Banane oder ein Stück Brot, und Gemini kam mit einem alliterativen Satz. Als ich weitere Objekte hinzufügte, hielt Gemini das Gespräch am Laufen, von „Leuchtende Bananen sonnen sich schön auf dem Brett“ mit einer einzelnen Frucht bis hin zu „Kulinarische Kreationen können ins Auge fallen“, wenn ein ganzes Buffetbrett präsentiert wurde.

Astra alliteriert mit Bananen, Baguettes… und allem anderen, was Sie ihm zeigen können.

Eine weitere Astra-Demo ließ mich Pictionary mit Gemini spielen. Es mag einfach klingen, aber es erforderte, dass der Agent Bilder versteht, sich erinnert, was in jeder Runde gezeichnet wurde, und Allgemeinwissen nutzt, um zu erraten, was ich zeichnete. In einer Demo wusste Astra, dass ein Kreis nicht ausreichte, um eine Vermutung anzustellen, aber als ich Linien darunter hinzufügte, erkannte es schnell, dass es sich von einer Strichfigur zu einer Person entwickelte, die ein Totenkopf-Emoji hielt, und erkannte, dass es Hamlet war.

Astra ist bei Pictionary ungeschlagen.

Durch den AI Sandbox und andere Demostationen zu gehen, fühlte sich an wie ein Blick in die Zukunft. Es war auch ein wenig ernüchternd: Astra hat mich in mehreren Runden bei Pictionary geschlagen!