Понимание длинных контекстных окон: ключевые идеи

Вчера мы представили наш последний прорыв в технологии ИИ с моделью Gemini 1.5. Эта новая итерация приносит значительные повышения скорости и эффективности, но реальным изменением игры является его инновационное длинное окно контекста. Эта функция позволяет модели обрабатывать беспрецедентное количество токенов - фундаментальные единицы, которые составляют слова, изображения или видео - все это сразу. Чтобы пролить свет на этот прогресс, мы обратились к проектной команде Google DeepMind, чтобы узнать, что такое длинные контекстные окна и как они могут революционизировать способ работы разработчиков.

Понимание длинных контекстных окон имеет решающее значение, поскольку они позволяют моделям ИИ поддерживать и отозвать информацию на протяжении всего сеанса. Представьте, что вы пытаетесь запомнить имя всего через несколько минут после того, как оно упоминалось в разговоре, или спешите записать номер телефона, прежде чем он ускользнут от вас. Модели ИИ сталкиваются с одинаковыми проблемами, часто «забывая» детали после нескольких взаимодействий. Длинный контекст Windows решает эту проблему, позволяя модели сохранять больше информации в своей «памяти».

Ранее модель Близнецов могла одновременно обрабатывать до 32 000 токенов. Однако с выпуском 1,5 Pro для раннего тестирования мы подтолкнули границы к ошеломляющим 1 миллионам токенов-крупнейшее контекстное окно любой крупномасштабной модели фонда на сегодняшний день. Наше исследование даже вышло за рамки этого, успешно тестировав до 10 миллионов токенов. Чем больше окно контекста, тем более разнообразным и обширным данные - текст, изображения, аудио, код или видео - модель может обрабатывать.

Николай Савинов, научный сотрудник Google DeepMind и один из главных в области проекта Long Context, поделился: «Наша первоначальная цель состояла в том, чтобы достичь 128 000 токенов, но я думал, что нацеливание более высокой будет полезно, поэтому я предложил 1 миллион токенов. И теперь наше исследование превысило это в 10 раз».

Достижение этого скачка требовал серии инноваций в глубоком обучении. Ранние исследования Пранава Шьяма дали решающую информацию, которая руководила нашим исследованием. Денис Теплашин, инженер Google Deepmind, объяснил: «Каждый прорыв приводил к другому, открывая новые возможности. Когда эти инновации вместе взялись, мы были поражены результатами, увеличившись с 128 000 токенов до 512 000, затем 1 миллион, а недавно - 10 миллионов токенов в нашем внутреннем исследовании».

Расширенная емкость 1,5 Pro открывает новые захватывающие новые приложения. Например, вместо суммирования документа, который длится десятки страниц, теперь он может обрабатывать документы в течение тысяч страниц. Там, где предыдущая модель могла проанализировать тысячи строк кода, теперь 1,5 Pro может обрабатывать десятки тысяч строк одновременно.

Мачел Рейд, еще один научный сотрудник Google DeepMind, поделился некоторыми увлекательными результатами теста: «В одном тесте мы вписываем всю кодовую базу в модель, и это создало комплексную документацию для нее , что было невероятно.

1.5 Pro также преуспевает в рассуждениях по данным в рамках подсказки. Мачел подчеркнул пример с участием редкого языка Каламанга, на котором говорят менее 200 человек по всему миру. «Модель не может перевести в Каламанг сам по себе, но с длинным окном контекста мы могли бы включить все руководство по грамматике и примеры предложений. Затем модель научилась переводить с английского на Каламанг на уровне, сравнимом с кем -то, кто учится на том же материале».

Gemini 1.5 Pro поставляется со стандартным контекстным окном 128K-ток, но избранная группа разработчиков и корпоративных клиентов может получить доступ к окну контекста токена 1 миллион через AI Studio и Vertex AI в частном предварительном просмотре. Управление таким большим контекстным окном является вычислительно интенсивным, и мы активно работаем над оптимизацией, чтобы уменьшить задержку по мере масштабирования.

Заглядывая в будущее, команда сосредоточена на том, чтобы сделать модель быстрее и эффективнее, и безопасность в качестве приоритета. Они также изучают способы дальнейшего расширения длинного контекстного окна, улучшения базовых архитектур и использования новых улучшений оборудования. Николай отметил: «10 миллионов токенов одновременно приближаются к термическому пределу наших подразделений по обработке тензоров. Мы еще не уверены, где находится предел, и модель может быть способна еще больше, поскольку аппаратное обеспечение продолжает развиваться».

Команда стремится увидеть инновационные приложения, которые разработчики и более широкое сообщество создаст с этими новыми возможностями. Мачел размышлял: «Когда я впервые увидел, что у нас был миллион токенов в контексте, я подумал:« Для чего вы даже используете это? » Но теперь я считаю, что воображение людей будет расширяться, что приведет к более творческому использованию этих новых возможностей ».

[TTPP] [yyxx]