Comprendre les longs fenêtres de contexte: les informations clés

Hier, nous avons dévoilé notre dernière percée dans la technologie AI avec le modèle Gemini 1.5. Cette nouvelle itération apporte des améliorations importantes de la vitesse et de l'efficacité, mais le véritable changeur de jeu est sa fenêtre de contexte long innovante. Cette fonctionnalité permet au modèle de traiter un nombre sans précédent de jetons - les unités fondamentales qui composent des mots, des images ou des vidéos - en une seule fois. Pour faire la lumière sur cette progression, nous nous sommes tournés vers l'équipe de projet Google DeepMind pour obtenir des informations sur les longues fenêtres de contexte et comment ils peuvent révolutionner la façon dont les développeurs fonctionnent.

La compréhension des fenêtres longues du contexte est cruciale car elles permettent aux modèles d'IA de maintenir et de rappeler des informations tout au long d'une session. Imaginez essayer de vous souvenir d'un nom quelques minutes après qu'il soit mentionné dans une conversation, ou de vous précipiter pour écrire un numéro de téléphone avant qu'il ne vous glisse. Les modèles d'IA sont confrontés à des défis similaires, «oubliant souvent» les détails après quelques interactions. Les fenêtres du contexte long abordent ce problème en permettant au modèle de conserver plus d'informations dans sa «mémoire».

Auparavant, le modèle Gemini pouvait gérer jusqu'à 32 000 jetons simultanément. Cependant, avec la publication de 1,5 Pro pour les tests précoces, nous avons repoussé les limites à des jetons stupéfiants de 1 million - la plus grande fenêtre de contexte de tout modèle de fondation à grande échelle à ce jour. Nos recherches sont même allées au-delà de cela, testant avec succès jusqu'à 10 millions de jetons. Plus la fenêtre de contexte est grande, plus les données sont diverses et étendues - texte, images, audio, code ou vidéo - le modèle peut traiter.

Nikolay Savinov, un chercheur de Google Deepmind et l'un des pistes du projet de contexte long, a partagé: "Notre objectif initial était d'atteindre 128 000 jetons, mais je pensais que la visée plus élevée serait bénéfique, donc j'ai proposé 1 million de jetons. Et maintenant, nos recherches ont dépassé cela de 10 fois."

La réalisation de ce saut a nécessité une série d'innovations d'apprentissage en profondeur. Les premières explorations de Pranav Shyam ont fourni des informations cruciales qui ont guidé nos recherches. Denis Teplyashin, un ingénieur Google Deepmind, a expliqué: "Chaque percée a conduit à une autre, ouvrant de nouvelles possibilités. Lorsque ces innovations se sont combinées, nous avons été étonnés des résultats, passant de 128 000 jetons à 512 000, puis 1 million, et récemment, 10 millions de jetons dans notre recherche interne."

La capacité élargie de 1,5 Pro ouvre de nouvelles applications passionnantes. Par exemple, au lieu de résumer un document qui fait des dizaines de pages, il peut désormais gérer des documents des milliers de pages. Lorsque le modèle précédent pourrait analyser des milliers de lignes de code, 1,5 Pro peut désormais traiter des dizaines de milliers de lignes à la fois.

Machel Reid, un autre chercheur de Google Deepmind, a partagé des résultats fascinants de tests: "Dans un test, nous avons nourri toute la base de code dans le modèle, et cela a généré une documentation complète pour cela, ce qui était incroyable. Dans un autre, il a répondu avec précision aux questions sur le film 1924 Sherlock Jr. après avoir` `regardé 'le film de 45 minutes."

1.5 Pro excelle également au raisonnement sur les données dans une invite. Machel a souligné un exemple impliquant la langue rare Kalamang, parlée par moins de 200 personnes dans le monde. "Le modèle ne peut pas se traduire par Kalamang seul, mais avec la longue fenêtre de contexte, nous pourrions inclure l'intégralité du manuel de grammaire et des phrases d'exemples. Le modèle a ensuite appris à traduire de l'anglais à Kalamang à un niveau comparable à quelqu'un qui apprend du même matériel."

Gemini 1.5 Pro est livré avec une fenêtre de contexte standard de 128k-token, mais un groupe restreint de développeurs et de clients d'entreprise peut accéder à une fenêtre de contexte de 1 million de jetons via AI Studio et Vertex AI en aperçu privé. La gestion d'une fenêtre de contexte aussi importante est à forte intensité de calcul, et nous travaillons activement sur les optimisations pour réduire la latence à mesure que nous l'évalonnons.

Pour l'avenir, l'équipe se concentre sur la renforcement du modèle plus rapide et plus efficace, avec la sécurité en priorité. Ils explorent également des moyens d'élargir davantage la longue fenêtre de contexte, d'améliorer les architectures sous-jacentes et de tirer parti de nouvelles améliorations matérielles. Nikolay a noté: "10 millions de jetons à la fois approchent de la limite thermique de nos unités de traitement du tenseur. Nous ne savons pas encore où se situe la limite, et le modèle pourrait être encore plus capable car le matériel continue d'évoluer."

L'équipe est impatient de voir les applications innovantes que les développeurs et la communauté plus large créeront avec ces nouvelles capacités. Machel a réfléchi: "Quand j'ai vu pour la première fois que nous avions un million de jetons en contexte, je me suis demandé:" Pourquoi utilisez-vous cela? " Mais maintenant, je crois que l'imagination des gens se développera, conduisant à des utilisations plus créatives de ces nouvelles capacités. "

[TTPP] [YYXX]