了解長上下文窗口：關鍵見解

昨天，我們使用Gemini 1.5型號推出了我們在AI技術方面的最新突破。這種新的迭代帶來了速度和效率的顯著增強，但是真正的遊戲規則是其創新的長篇小說窗口。此功能使模型可以一次處理前所未有的令牌（構成單詞，圖像或視頻的基本單元）。為了闡明這一進步，我們求助於Google DeepMind項目團隊，以了解較長的上下文窗口以及他們如何徹底改變開發人員的工作方式。

了解長上下文窗口至關重要，因為它們使AI模型能夠在整個會話中維護和回憶信息。想像一下，在談話中提到的幾分鐘後，試圖記住一個名字，或者急於在打擾您的思想之前寫下電話號碼。 AI模型面臨類似的挑戰，經過幾次互動後通常會“忘記”細節。長上下文Windows通過允許模型將更多信息保留在其“內存”中來解決此問題。

以前，雙子座模型可以同時處理多達32,000個令牌。但是，隨著1.5 Pro進行早期測試，我們將邊界推向了驚人的100萬個令牌，這是迄今為止任何大型基礎模型的最大上下文窗口。我們的研究甚至超越了這一點，成功測試了多達1000萬個令牌。上下文窗口越大，數據，圖像，圖像，音頻，代碼或視頻 - 模型可以處理的數據越多樣化和廣泛。

尼古拉·薩維諾夫（Nikolay Savinov）是一位Google Deepmind Research Scientist，也是長篇小說項目的領導者之一，他分享道：“我們的最初目標是達到128,000個令牌，但是我認為瞄準更高的目標是有益的，所以我提出了100萬個令牌。現在，我們的研究超過了10次。”

實現這一飛躍需要一系列深入學習的創新。 Pranav Shyam的早期探索提供了指導我們研究的重要見解。 Google DeepMind工程師Denis Teplyashin解釋說：“每個突破都導致了另一個突破，開闢了新的可能性。當這些創新結合在一起時，我們對結果感到驚訝，從128,000個代幣縮小到51.2,000，然後是100萬，然後是最近的內部研究中的1000萬個代幣。”

1.5 Pro的擴大容量為令人興奮的新應用程序打開了。例如，現在可以處理數千頁的文檔，而不是總結數十個頁面長的文檔。如果以前的模型可以分析數千行代碼，則1.5 Pro現在可以一次處理數万行。

另一位Google DeepMind研究科學家Machel Reid分享了一些令人著迷的測試結果：“在一個測試中，我們將整個代碼庫餵入了模型中，並為其生成了全面的文檔，這是不可思議的。在另一個測試中，它準確地回答了有關1924年電影Sherlock Jr.的問題。

1.5 PRO在提示中也可以在跨數據的推理方面表現出色。 Machel強調了一個涉及罕見語言Kalamang的例子，全球範圍不到200人說。 “該模型無法單獨轉化為Kalamang，但是有了較長的上下文窗口，我們可以包含整個語法手冊和示例句子。然後，該模型學會了以與從同一材料中學習的人相當的水平將英語轉換為Kalamang。”

Gemini 1.5 Pro配備了標準的128K Token上下文窗口，但是一組開發人員和企業客戶可以通過AI Studio和Private Preview中的Vertex AI訪問100萬個令牌上下文窗口。管理如此大的上下文窗口是計算密集型的，我們正在積極進行優化，以減少延遲時間。

展望未來，團隊專注於使模型更快，更高效，並以安全性為優先。他們還探索了進一步擴展長上下文窗口，增強基本體系結構並利用新硬件改進的方法。 Nikolay指出：“ 1000萬個令牌立即接近我們張量處理單元的熱限制。我們不確定極限的位置，並且隨著硬件的不斷發展，該模型可能能夠更具影響力。”

該團隊渴望看到開發人員和更廣泛的社區將使用這些新功能創建的創新應用。 Machel反映：“當我第一次看到我們在上下文中有一百萬個令牌時，我想知道，'您甚至用它來用什麼？”但是現在，我相信人們的想像力將會擴展，從而導致這些新功能的更多創新用途。 ”

[TTPP] [YYXX]