長いコンテキストウィンドウの理解：重要な洞察

昨日、Gemini 1.5モデルでAIテクノロジーの最新のブレークスルーを発表しました。この新しい反復は、速度と効率に大幅な強化をもたらしますが、実際のゲームチェンジャーは革新的な長いコンテキストウィンドウです。この機能により、モデルは前例のない数のトークン（単語、画像、またはビデオを構成する基本単位）を一度に処理できます。この進歩に光を当てるために、私たちはGoogle Deepmind Projectチームに、長いコンテキストウィンドウとは何か、開発者の仕組みにどのように革命をもたらすことができるかについての洞察を求めました。

長いコンテキストウィンドウを理解することは重要です。なぜなら、AIモデルはセッション全体で情報を維持および想起できるようにするからです。会話で言及された数分後に名前を覚えようとするか、それがあなたの心を滑らせる前に電話番号を書き留めるために急いでいることを想像してください。 AIモデルは同様の課題に直面しており、多くの場合、いくつかの相互作用の後に詳細を「忘れる」ことができます。 Long Context Windowsは、モデルが「メモリ」にもっと情報を保持できるようにすることにより、この問題に対処します。

以前は、Geminiモデルは最大32,000トークンを同時に処理できました。ただし、早期テスト用の1.5 Proのリリースにより、境界を驚異的な100万トークンに押し上げました。これは、これまでの大規模な基礎モデルの最大のコンテキストウィンドウです。私たちの研究はこれを超えており、最大1,000万トークンのテストに成功しています。コンテキストウィンドウが大きいほど、テキスト、画像、オーディオ、コード、またはビデオ（モデル）が処理できるデータがより多様で広範囲に及ぶ。

Google Deepmindの研究科学者であり、長いコンテキストプロジェクトのリードの1つであるNikolay Savinovは、「最初の目標は128,000トークンに到達することでしたが、より高い目標は有益だと思ったので、100万トークンを提案しました。

この飛躍を達成するには、一連の深い学習革新が必要でした。 Pranav Shyamの初期の探索は、私たちの研究を導く重要な洞察を提供しました。 Google DeepmindエンジニアのDenis Teplyashinは、「各ブレークスルーが別の可能性をもたらし、新しい可能性を開始しました。これらの革新が結合されたとき、私たちは128,000トークンから512,000、その後100万トークン、最近1000万トークンに拡大しました。」

1.5 Proの拡張容量は、エキサイティングな新しいアプリケーションを開きます。たとえば、数十ページの長さのドキュメントを要約する代わりに、数千ページの長さを処理できるようになりました。以前のモデルが数千のコードを分析できる場合、1.5 Proは一度に数万行を処理できるようになりました。

別のGoogle Deepmind Research ScientistであるMachel Reidは、魅力的なテスト結果を共有しました。「あるテストでは、コードベース全体をモデルに供給し、包括的なドキュメントを生成しました。これは信じられないほどでした。

1.5 Proは、プロンプト内のデータ間での推論にも優れています。マチェルは、世界中で200人未満が話したまれな言語のカラマンを含む例を強調しました。 「モデルはそれ自体でカラマンに翻訳することはできませんが、長いコンテキストウィンドウを使用すると、文法マニュアル全体と例の文を含めることができます。その後、モデルは、同じ素材から学ぶ人に匹敵するレベルで英語からカラマンに翻訳することを学びました。」

Gemini 1.5 Proには標準の128Kトークンコンテキストウィンドウが付属していますが、開発者とエンタープライズの顧客の選択グループは、プライベートプレビューでAI StudioとVertex AIを介して100万のトークンコンテキストウィンドウにアクセスできます。このような大きなコンテキストウィンドウを管理することは計算的に集中的であり、スケーリングする際に遅延を減らすために最適化に積極的に取り組んでいます。

今後、チームは、安全性を優先事項として、モデルをより速く、より効率的にすることに焦点を当てています。また、長いコンテキストウィンドウをさらに拡張し、基礎となるアーキテクチャを強化し、新しいハードウェアの改善を活用する方法を模索しています。 Nikolayは、「1,000万トークンが一度にテンソル処理ユニットの熱制限に近づいている。制限がまだどこにあるのかはわかりません。モデルは、ハードウェアが進化し続けるにつれてさらに多くのことができるかもしれません。」

チームは、開発者とより幅広いコミュニティがこれらの新しい機能で作成する革新的なアプリケーションを見たいと思っています。マチェルは、「私たちが文脈に何百万ものトークンを持っているのを最初に見たとき、「あなたはこれを何のために使っていますか？」と思いました。しかし今、私は人々の想像力が拡大し、これらの新しい機能のより創造的な使用につながると信じています。」

[ttpp] [yyxx]