“ 8種新的AI產品和更新測試”

在I/O，我們不僅僅是公布一系列更新，如新的Gemini模型、AI代理和Android調整——我們實際上讓開發者、記者和合作夥伴親自體驗產品演示。今年的I/O在Shoreline Amphitheatre舉行，我有幸在那裡度過了一天，探索了許多這樣的演示。以下是其中幾個的簡要介紹。

我當天的第一個演示非常酷。我觀看了Gemini Advanced處理一份超過20頁的房產租賃合同，充滿法律術語和棘手的條款。在它處理完文件後，我可以提問，比如我的房東是否允許我養寵物狗，或者是否有額外費用需要支付。我已經期待在我的公寓租約續約時使用這個功能來理解租賃合同。

接下來，演示更加令人印象深刻。兩位Googler將一本數百頁的經濟學教科書PDF輸入Gemini。如果是我自己閱讀，可能需要花很長時間，但Gemini迅速生成了一份摘要，並指出需要學習的關鍵主題。它甚至還創建了一份多選題測驗，包含一個正確答案和三個棘手的錯誤答案，幫助我為假想的考試做準備。

Googlers Sid Lall（左）和Adam Kurzrok（右）展示Gemini Advanced如何總結一本厚重的經濟學教科書或數千頁的文件。

這兩個演示都使用了我們今年早些時候推出的Gemini 1.5 Pro，它擁有任何大規模基礎模型中最長的上下文窗口。我們現在為Gemini Advanced訂閱者推出Gemini 1.5 Pro的早期訪問，允許他們直接從Drive上傳文件。這意味著他們可以使用Gemini總結或分析長達1,500頁的文件。

Gemini 1.5 Pro也正在整合到Workspace應用程式（如Gmail、Docs、Sheets、Slides和Drive）的側邊欄中。我親眼看到它在Gmail中總結了一封示例的學校週報電子郵件，提取了具體細節，如七年級學生的活動和過夜旅行的打包清單。

Gemini的側邊欄可以幫助您回答關於Gmail、Drive等內容的關鍵問題。

改進的長上下文窗口甚至可以在回應單一提示時從多個文件中提取信息。在Docs中，我請求幫助撰寫一封給潛在求職者的示例信，鏈接到Drive中的職位描述文件和申請者的PDF作品集。Gemini立即起草了一封電子郵件，考慮了兩個文件的細節。

但Gemini 1.5 Pro並不是唯一的新成員。我還體驗了新發布的Imagen 3，這是我們迄今最好的文字到圖像模型。我試用的一個很酷的功能是它生成裝飾性文字和字母的能力。我要求生成一個風格化的字母表，比如用果醬在吐司上製作的字母或漂浮在天空中的銀色氣球字母。Imagen 3生成了一整套字母表，我可以用它們創建自己的（美味）菜單。

在玩過Imagen 3後，我又回到了更多Gemini演示。一個演示讓我在Android手機上調出Gemini的覆蓋層，詢問屏幕上的任何內容。這展示了我們不僅在擴展您可以問Gemini的問題，還使其具有上下文感知能力，以預測您的需求並提供有用的建議。

該演示以一份冗長的烤箱手冊為例。我無需費力閱讀文件，只需調出Gemini，就立即獲得了“詢問此PDF”的建議。我問了像“如何更新時鐘”這樣的問題，得到了快速、準確的回答。它在YouTube視頻上同樣表現出色。我無需觀看20分鐘的健身視頻，只需問如何修改平板支撐，就立刻得到答案，然後繼續下一個演示。

下一個演示介紹了一種新的對話模式，稱為Gemini Live，您可以在應用程式中與Gemini語音交談而無需輸入。與Gemini交談與一般的聊天機器人界面完全不同。它的回答更具對話性，而不僅僅是段落文字或項目符號列表。在我的演示中，我要求列出暑假的兒童活動清單，並能在列表中打斷，進一步詢問關於扎染T恤所需材料的更多信息。

Project Astra演示將事情提升到了一個新高度，展示了我們的對話AI項目前進的方向。

我們的AI沙盒，開發者和與會者在此試用了像Project Astra和其他創意AI實驗，如MusicFX的DJ模式。

Astra的多模態能力不僅限於處理屏幕上的內容或您輸入的聊天框內容，它可以同時理解對話語音提示和實時視頻饋送，開啟了新型的AI體驗。

Astra的頭韻演示從簡單開始：我向攝像頭展示一個物體，如香蕉或一片麵包，Gemini會生成一個頭韻句子。隨著我添加更多物體，Gemini保持對話的連貫，從單個水果的“明亮的香蕉在板子上美麗地曬太陽”到整桌自助餐的“烹飪創作引人注目”。

Astra與香蕉、法式長棍麵包……以及您能展示的任何東西進行頭韻創作。

另一個Astra演示讓我與Gemini玩Pictionary。這聽起來簡單，但需要代理理解圖像，記住每輪畫的內容，並運用常識猜測我在畫什麼。在一個演示中，Astra知道僅一個圓圈不足以猜測，但當我在下面添加線條後，它很快從識別一個火柴人到辨認出一個舉著骷髏表情符號的人是哈姆雷特。

Astra在Pictionary中未嘗敗績。

在AI沙盒和其他演示站點中穿梭，感覺像是窺見了未來。也有點讓人謙卑：Astra在多輪Pictionary中擊敗了我！