雙子座推出增強模型，擴展上下文，AI代理

1.5 Flash 在摘要、聊天應用、圖像和影片標題生成等任務中表現出色。它也擅長從長篇文檔和表格中提取數據。這種多功能性源於通過 1.5 Pro 的「知識蒸餾」訓練，將大型模型的核心知識和技能傳遞給更高效的小型模型。

有關 1.5 Flash 的更多詳情，請查看我們更新的 Gemini 1.5 技術報告、Gemini 技術頁面，並了解其可用性和定價資訊。

顯著提升 1.5 Pro

過去幾個月，我們在增強 1.5 Pro（我們在眾多任務中的頂尖表現者）方面取得了顯著進展。

我們已將其上下文窗口擴展至 200 萬 token，並提升了其在代碼生成、邏輯推理、規劃、多輪對話以及音頻和圖像理解方面的能力。這些增強得益於數據和算法的進步，在公開和內部基準測試中均顯示出顯著改進。

1.5 Pro 現在能處理日益複雜和細緻的指令，包括定義產品級行為的指令，如角色、格式和風格。我們優化了對模型回應的控制，適用於特定用例，例如自訂聊天代理角色或自動化多功能調用的工作流程。用戶現在可通過系統指令引導模型行為。

我們還在 Gemini API 和 Google AI Studio 中新增了音頻理解功能，使 1.5 Pro 能處理上傳至 Google AI Studio 的影片中的圖像和音頻。我們正將 1.5 Pro 整合進 Google 產品，如 Gemini Advanced 和 Workspace 應用。

有關 1.5 Pro 的更多資訊，請深入了解我們更新的 Gemini 1.5 技術報告和 Gemini 技術頁面。

Gemini Nano 支援多模態輸入

Gemini Nano 正在升級，從僅限文字輸入進展到包含圖像。從 Pixel 開始，使用多模態 Gemini Nano 的應用將能以更接近人類的方式理解世界，通過文字、視覺、聲音和口語。

了解更多關於 Android 上 Gemini 1.0 Nano 的資訊。

下一代開放模型

今天，我們也更新了 Gemma，我們的開放模型家族，這些模型基於與 Gemini 模型相同的研究和技術打造。

我們推出 Gemma 2，下一代用於負責任 AI 創新的開放模型。Gemma 2 採用全新架構，提供卓越性能和效率，並將推出新尺寸規格。

Gemma 家族正在擴展，新增了受 PaLI-3 啟發的首個視覺-語言模型 PaliGemma。我們還升級了負責任生成式 AI 工具包，新增 LLM Comparator 以評估模型回應品質。

欲了解更多詳情，請前往 Developer 部落格。

開發通用 AI 代理的進展

在 Google DeepMind，我們的使命是負責任地打造 AI 以造福人類。我們一直致力於創建能協助日常生活的通用 AI 代理。因此，我們分享了在 AI 助手未來發展上的進展，名為 Project Astra（進階視覺與語音回應代理）。

要讓 AI 代理真正發揮作用，它需要像人類一樣理解和回應世界，接收並記憶所見所聞，以理解上下文並採取相應行動。它還應具備主動性、可教性及個人化特質，實現自然且無延遲的對話。

雖然我們在處理多模態資訊方面取得了巨大進展，但實現對話回應速度仍是一項艱難的工程挑戰。多年來，我們一直在優化模型的感知、推理和對話方式，使互動更自然。