了解长上下文窗口：关键见解

昨天，我们使用Gemini 1.5型号推出了我们在AI技术方面的最新突破。这种新的迭代带来了速度和效率的显着增强，但是真正的游戏规则是其创新的长篇小说窗口。此功能使模型可以一次处理前所未有的令牌（构成单词，图像或视频的基本单元）。为了阐明这一进步，我们求助于Google DeepMind项目团队，以了解较长的上下文窗口以及他们如何彻底改变开发人员的工作方式。

了解长上下文窗口至关重要，因为它们使AI模型能够在整个会话中维护和回忆信息。想象一下，在谈话中提到的几分钟后，试图记住一个名字，或者急于在打扰您的思想之前写下电话号码。 AI模型面临类似的挑战，经过几次互动后通常会“忘记”细节。长上下文Windows通过允许模型将更多信息保留在其“内存”中来解决此问题。

以前，双子座模型可以同时处理多达32,000个令牌。但是，随着1.5 Pro进行早期测试，我们将边界推向了惊人的100万个令牌，这是迄今为止任何大型基础模型的最大上下文窗口。我们的研究甚至超越了这一点，成功测试了多达1000万个令牌。上下文窗口越大，数据，图像，图像，音频，代码或视频 - 模型可以处理的数据越多样化和广泛。

尼古拉·萨维诺夫（Nikolay Savinov）是一位Google Deepmind Research Scientist，也是长篇小说项目的领导者之一，他分享道：“我们的最初目标是达到128,000个令牌，但是我认为瞄准更高的目标是有益的，所以我提出了100万个令牌。现在，我们的研究超过了10次。”

实现这一飞跃需要一系列深入学习的创新。 Pranav Shyam的早期探索提供了指导我们研究的重要见解。 Google DeepMind工程师Denis Teplyashin解释说：“每个突破都导致了另一个突破，开辟了新的可能性。当这些创新结合在一起时，我们对结果感到惊讶，从128,000个代币缩小到51.2,000，然后是100万，然后是最近的内部研究中的1000万个代币。”

1.5 Pro的扩大容量为令人兴奋的新应用程序打开了。例如，现在可以处理数千页的文档，而不是总结数十个页面长的文档。如果以前的模型可以分析数千行代码，则1.5 Pro现在可以一次处理数万行。

另一位Google DeepMind研究科学家Machel Reid分享了一些令人着迷的测试结果：“在一个测试中，我们将整个代码库喂入了模型中，并为其生成了全面的文档，这是不可思议的。在另一个测试中，它准确地回答了有关1924年电影Sherlock Jr.的问题。

1.5 PRO在提示中也可以在跨数据的推理方面表现出色。 Machel强调了一个涉及罕见语言Kalamang的例子，全球范围不到200人说。 “该模型无法单独转化为Kalamang，但是有了较长的上下文窗口，我们可以包含整个语法手册和示例句子。然后，该模型学会了以与从同一材料中学习的人相当的水平将英语转换为Kalamang。”

Gemini 1.5 Pro配备了标准的128K Token上下文窗口，但是一组开发人员和企业客户可以通过AI Studio和Private Preview中的Vertex AI访问100万个令牌上下文窗口。管理如此大的上下文窗口是计算密集型的，我们正在积极进行优化，以减少延迟时间。

展望未来，团队专注于使模型更快，更高效，并以安全性为优先。他们还探索了进一步扩展长上下文窗口，增强基本体系结构并利用新硬件改进的方法。 Nikolay指出：“ 1000万个令牌立即接近我们张量处理单元的热限制。我们不确定极限的位置，并且随着硬件的不断发展，该模型可能能够更具影响力。”

该团队渴望看到开发人员和更广泛的社区将使用这些新功能创建的创新应用。 Machel反映：“当我第一次看到我们在上下文中有一百万个令牌时，我想知道，'您甚至用它来做什么？”但是现在，我相信人们的想象力将扩大，从而导致这些新功能的更多创造性用途。”

[TTPP] [YYXX]