Comprensión de las ventanas de contexto largo: información clave

Ayer, presentamos nuestro último avance en tecnología AI con el modelo Gemini 1.5. Esta nueva iteración trae mejoras significativas en la velocidad y la eficiencia, pero el verdadero cambio de juego es su innovadora ventana de contexto largo. Esta característica permite que el modelo procese un número de tokens sin precedentes, las unidades fundamentales que componen palabras, imágenes o videos, todo a la vez. Para arrojar luz sobre este avance, recurrimos al equipo del Proyecto Google DeepMind para obtener información sobre lo que son las ventanas de contexto largas y cómo pueden revolucionar la forma en que funcionan los desarrolladores.

Comprender las ventanas de contexto largo es crucial porque permiten que los modelos de IA mantengan y recuerden la información a lo largo de una sesión. Imagine tratar de recordar un nombre solo unos minutos después de que se mencione en una conversación, o apresurarse a escribir un número de teléfono antes de que le resulte. Los modelos de IA enfrentan desafíos similares, a menudo "olvidando" los detalles después de algunas interacciones. Windows de contexto largo abordan este problema al permitir que el modelo mantenga más información en su "memoria".

Anteriormente, el modelo Géminis podría manejar hasta 32,000 tokens simultáneamente. Sin embargo, con el lanzamiento de 1.5 Pro para pruebas tempranas, hemos llevado los límites a un asombroso 1 millón de tokens, la ventana de contexto más grande de cualquier modelo de base a gran escala hasta la fecha. Nuestra investigación incluso ha ido más allá de esto, probando con éxito hasta 10 millones de tokens. Cuanto más grande sea la ventana de contexto, más diversos y extensos son los datos (texto, imágenes, audio, código o video) que el modelo puede procesar.

Nikolay Savinov, un científico de investigación de Google Deepmind y uno de los protagonistas del proyecto de contexto largo, compartió: "Nuestro objetivo inicial era llegar a 128,000 tokens, pero pensé que apuntar más alto sería beneficioso, por lo que propuse 1 millón de tokens. Y ahora, nuestra investigación ha excedido eso por 10 veces".

Lograr este salto requirió una serie de innovaciones de aprendizaje profundo. Las primeras exploraciones de Pranav Shyam proporcionaron ideas cruciales que guiaron nuestra investigación. Denis Teplyashin, un ingeniero de Google Deepmind, explicó: "Cada avance condujo a otro, abriendo nuevas posibilidades. Cuando estas innovaciones combinadas, nos sorprendió los resultados, escenando de 128,000 tokens a 512,000, luego 1 millón y recientemente, 10 millones de tokens en nuestra investigación interna".

La capacidad ampliada de 1.5 Pro abre nuevas aplicaciones emocionantes. Por ejemplo, en lugar de resumir un documento que tiene docenas de páginas, ahora puede manejar documentos de miles de páginas de longitud. Cuando el modelo anterior podría analizar miles de líneas de código, 1.5 Pro ahora puede procesar decenas de miles de líneas a la vez.

Machel Reid, otro científico de investigación de Google Deepmind, compartió algunos resultados de las pruebas fascinantes: "En una prueba, alimentamos toda la base de código al modelo, y generó una documentación integral para ello, lo que fue increíble. En otra, respondió con precisión preguntas sobre la película de 1924 Sherlock Jr. después de 'ver' toda la película de 45 minutos".

1.5 Pro también se destaca en el razonamiento de los datos dentro de un aviso. Machel destacó un ejemplo que involucra el raro lenguaje Kalamang, hablado por menos de 200 personas en todo el mundo. "El modelo no puede traducirse en Kalamang por sí solo, pero con la larga ventana de contexto, podríamos incluir todo el manual de gramática y las oraciones de ejemplo. El modelo aprendió a traducirse del inglés al Kalamang a un nivel comparable a alguien que aprende del mismo material".

Gemini 1.5 Pro viene con una ventana de contexto estándar de 128k-token, pero un grupo selecto de desarrolladores y clientes empresariales puede acceder a una ventana de contexto de 1 millón de tokens a través de AI Studio y Vertex AI en una vista previa privada. La gestión de una ventana de contexto tan grande es computacionalmente intensivo, y estamos trabajando activamente en optimizaciones para reducir la latencia a medida que la escala.

Mirando hacia el futuro, el equipo se centra en hacer que el modelo sea más rápido y eficiente, con la seguridad como una prioridad. También están explorando formas de expandir aún más la larga ventana de contexto, mejorar las arquitecturas subyacentes y aprovechar las nuevas mejoras de hardware. Nikolay señaló: "10 millones de tokens a la vez se están acercando al límite térmico de nuestras unidades de procesamiento de tensor. No estamos seguros de dónde se encuentra el límite y el modelo podría ser capaz de ser aún más a medida que el hardware continúa evolucionando".

El equipo está ansioso por ver las aplicaciones innovadoras que los desarrolladores y la comunidad más amplia crearán con estas nuevas capacidades. Machel reflexionó: "Cuando vi por primera vez que teníamos un millón de tokens en contexto, me preguntaba:" ¿Para qué usas esto? " Pero ahora, creo que la imaginación de las personas se expandirá, lo que lleva a usos más creativos de estas nuevas capacidades ".

[TTPP] [yyxx]