Compreendendo Windows de contexto longo: Insights principais

Ontem, apresentamos nossa última inovação na tecnologia de IA com o modelo Gemini 1.5. Essa nova iteração traz aprimoramentos significativos em velocidade e eficiência, mas o verdadeiro mudança de jogo é sua inovadora janela de contexto de longo prazo. Esse recurso permite que o modelo processe um número sem precedentes de tokens - as unidades fundamentais que compõem palavras, imagens ou vídeos - de uma só vez. Para esclarecer esse avanço, nos voltamos para a equipe do Google DeepMind Project para obter informações sobre o que são as janelas de contexto longo e como elas podem revolucionar a maneira como os desenvolvedores funcionam.

Compreender as janelas de contexto longo é crucial porque permitem que os modelos de IA mantenham e recupere as informações ao longo de uma sessão. Imagine tentar se lembrar de um nome apenas alguns minutos depois de ser mencionado em uma conversa, ou correndo para escrever um número de telefone antes de escapar sua mente. Os modelos de IA enfrentam desafios semelhantes, geralmente "esquecendo" detalhes após algumas interações. As janelas de contexto longo abordam esse problema, permitindo que o modelo mantenha mais informações em sua "memória".

Anteriormente, o modelo Gemini poderia lidar com até 32.000 tokens simultaneamente. No entanto, com o lançamento de 1,5 Pro para testes antecipados, empurramos os limites a 1 milhão de tokens impressionantes-a maior janela de contexto de qualquer modelo de fundação em larga escala até o momento. Nossa pesquisa foi além disso, testando com sucesso até 10 milhões de tokens. Quanto maior a janela de contexto, mais diversos e extensos os dados - texto, imagens, áudio, código ou vídeo - o modelo pode processar.

Nikolay Savinov, um cientista de pesquisa do Google DeepMind e um dos protagonistas do projeto de contexto de longo prazo, compartilhou: "Nosso objetivo inicial era alcançar 128.000 tokens, mas pensei que apontar mais alto seria benéfico, então propus 1 milhão de tokens. E agora, nossa pesquisa o excedeu em 10 vezes".

Conseguir esse salto exigiu uma série de inovações de aprendizado profundo. As primeiras explorações de Pranav Shyam forneceram informações cruciais que guiaram nossa pesquisa. Denis Teplyashin, engenheiro do Google DeepMind, explicou: "Cada avanço levou a outro, abrindo novas possibilidades. Quando essas inovações combinadas, ficamos impressionados com os resultados, escalando de 128.000 tokens para 512.000, então 1 milhão e recentemente, 10 milhões de tokens em nossas pesquisas internas".

A capacidade expandida de 1,5 Pro abre novos aplicativos interessantes. Por exemplo, em vez de resumir um documento com dezenas de páginas, agora ele pode lidar com documentos milhares de páginas de comprimento. Onde o modelo anterior poderia analisar milhares de linhas de código, o 1,5 Pro agora pode processar dezenas de milhares de linhas ao mesmo tempo.

Machel Reid, outro cientista de pesquisa do Google DeepMind, compartilhou alguns resultados fascinantes dos testes: "Em um teste, alimentamos toda a base de código no modelo e gerou documentação abrangente para ele, que foi incrível. Em outro, respondeu com precisão perguntas sobre o filme de 1924 Sherlock Jr. depois de assistir a 45 minutos de 45 minutos".

1.5 Pro também se destaca no raciocínio nos dados dentro de um prompt. Machel destacou um exemplo envolvendo a língua rara Kalamang, falada por menos de 200 pessoas em todo o mundo. "O modelo não pode se traduzir em Kalamang por conta própria, mas com a longa janela de contexto, poderíamos incluir todo o manual gramatical e frases de exemplo. O modelo aprendeu a se traduzir do inglês para Kalamang em um nível comparável a alguém que aprende com o mesmo material".

O Gemini 1.5 Pro vem com uma janela de contexto padrão de 128k, mas um grupo seleto de desenvolvedores e clientes corporativos pode acessar uma janela de contexto de 1 milhão de token através do estúdio de IA e da AI do vértice em visualização privada. Gerenciar uma janela de contexto tão grande é computacionalmente intensiva e estamos trabalhando ativamente em otimizações para reduzir a latência à medida que a ampliamos.

Olhando para o futuro, a equipe está focada em tornar o modelo mais rápido e eficiente, com segurança como prioridade. Eles também estão explorando maneiras de expandir ainda mais a longa janela de contexto, aprimorar as arquiteturas subjacentes e aproveitar novas melhorias de hardware. Nikolay observou: "10 milhões de tokens ao mesmo tempo estão chegando ao limite térmico de nossas unidades de processamento de tensores. Não temos certeza de onde está o limite ainda, e o modelo pode ser capaz de ainda mais, pois o hardware continua a evoluir".

A equipe está ansiosa para ver os aplicativos inovadores que os desenvolvedores e a comunidade mais ampla criarão com esses novos recursos. Machel refletiu: "Quando vi pela primeira vez que tínhamos um milhão de fichas no contexto, eu me perguntei: 'Para que você usa isso?' Mas agora, acredito que a imaginação das pessoas se expandirá, levando a usos mais criativos desses novos recursos ".

[TTPP] [YYXX]