Comprendre les longs fenêtres de contexte: les informations clés

Hier, nous avons dévoilé notre dernière avancée en technologie d'IA avec le modèle Gemini 1.5. Cette nouvelle itération apporte des améliorations significatives en termes de vitesse et d'efficacité, mais le véritable changement de paradigme est sa fenêtre de contexte longue innovante. Cette fonctionnalité permet au modèle de traiter un nombre sans précédent de jetons — les unités fondamentales qui composent les mots, les images ou les vidéos — en une seule fois. Pour éclaircir cette avancée, nous nous sommes tournés vers l'équipe du projet Google DeepMind pour obtenir des informations sur ce que sont les fenêtres de contexte longues et comment elles peuvent révolutionner le travail des développeurs.

Comprendre les fenêtres de contexte longues est crucial car elles permettent aux modèles d'IA de conserver et de rappeler des informations tout au long d'une session. Imaginez essayer de vous souvenir d'un nom quelques minutes après qu'il a été mentionné dans une conversation, ou vous précipiter pour noter un numéro de téléphone avant qu'il ne vous échappe. Les modèles d'IA rencontrent des défis similaires, oubliant souvent les détails après quelques interactions. Les fenêtres de contexte longues résolvent ce problème en permettant au modèle de conserver plus d'informations dans sa « mémoire ».

Auparavant, le modèle Gemini pouvait gérer jusqu'à 32 000 jetons simultanément. Cependant, avec la sortie de 1.5 Pro pour des tests précoces, nous avons repoussé les limites à un impressionnant million de jetons — la plus grande fenêtre de contexte de tout modèle de fondation à grande échelle à ce jour. Nos recherches sont allées encore plus loin, testant avec succès jusqu'à 10 millions de jetons. Plus la fenêtre de contexte est grande, plus les données — texte, images, audio, code ou vidéo — que le modèle peut traiter sont diverses et étendues.

Nikolay Savinov, scientifique de recherche chez Google DeepMind et l'un des responsables du projet de contexte long, a partagé : « Notre objectif initial était d'atteindre 128 000 jetons, mais j'ai pensé que viser plus haut serait bénéfique, alors j'ai proposé 1 million de jetons. Et maintenant, nos recherches ont dépassé cela par 10 fois. »

Atteindre ce bond a requis une série d'innovations en apprentissage profond. Les premières explorations de Pranav Shyam ont fourni des informations cruciales qui ont guidé nos recherches. Denis Teplyashin, ingénieur chez Google DeepMind, a expliqué : « Chaque percée en a conduit à une autre, ouvrant de nouvelles possibilités. Lorsque ces innovations se sont combinées, nous avons été stupéfaits par les résultats, passant de 128 000 jetons à 512 000, puis 1 million, et récemment, 10 millions de jetons dans nos recherches internes. »

La capacité élargie de 1.5 Pro ouvre des applications nouvelles et excitantes. Par exemple, au lieu de résumer un document de dizaines de pages, il peut désormais traiter des documents de milliers de pages. Là où le modèle précédent pouvait analyser des milliers de lignes de code, 1.5 Pro peut maintenant traiter des dizaines de milliers de lignes à la fois.

Machel Reid, un autre scientifique de recherche chez Google DeepMind, a partagé des résultats de tests fascinants : « Dans un test, nous avons intégré l'ensemble de la base de code dans le modèle, et il a généré une documentation complète pour celle-ci, ce qui était incroyable. Dans un autre, il a répondu avec précision à des questions sur le film de 1924 Sherlock Jr. après avoir « regardé » l'ensemble du film de 45 minutes. »

1.5 Pro excelle également dans le raisonnement à travers les données d'une invite. Machel a mis en avant un exemple impliquant la langue rare Kalamang, parlée par moins de 200 personnes dans le monde. « Le modèle ne peut pas traduire en Kalamang de lui-même, mais avec la fenêtre de contexte longue, nous avons pu inclure l'ensemble du manuel de grammaire et des phrases d'exemple. Le modèle a alors appris à traduire de l'anglais au Kalamang à un niveau comparable à quelqu'un apprenant à partir du même matériel. »

Gemini 1.5 Pro est livré avec une fenêtre de contexte standard de 128 000 jetons, mais un groupe restreint de développeurs et de clients d'entreprise peut accéder à une fenêtre de contexte d'un million de jetons via AI Studio et Vertex AI en aperçu privé. Gérer une fenêtre de contexte aussi large est intensif en calcul, et nous travaillons activement sur des optimisations pour réduire la latence à mesure que nous l'étendons.

À l'avenir, l'équipe se concentre sur rendre le modèle plus rapide et plus efficace, avec la sécurité comme priorité. Ils explorent également des moyens d'élargir davantage la fenêtre de contexte longue, d'améliorer les architectures sous-jacentes et de tirer parti des nouvelles améliorations matérielles. Nikolay a noté : « 10 millions de jetons à la fois approchent la limite thermique de nos Tensor Processing Units. Nous ne savons pas encore où se trouve la limite, et le modèle pourrait être capable de plus à mesure que le matériel continue d'évoluer. »

L'équipe est impatiente de voir les applications innovantes que les développeurs et la communauté au sens large créeront avec ces nouvelles capacités. Machel a réfléchi : « Quand j'ai vu pour la première fois que nous avions un million de jetons en contexte, je me suis demandé : « À quoi cela sert-il ? » Mais maintenant, je crois que l'imagination des gens va s'élargir, menant à des utilisations plus créatives de ces nouvelles capacités. »

[ttpp][yyxx]