8 новых продуктов и обновлений ИИ протестированы

На I/O мы не просто представляем список обновлений, таких как новые модели Gemini, AI-агенты и улучшения Android — мы действительно позволяем разработчикам, журналистам и партнёрам погрузиться в действие с практическими демонстрациями продуктов. В этом году я провёл день в амфитеатре Shoreline, где проходит I/O, и смог ознакомиться с множеством таких демонстраций. Вот краткий обзор некоторых из них.

Моя первая демонстрация дня была довольно крутой. Я наблюдал, как Gemini Advanced обрабатывает договор аренды недвижимости на более чем 20 страниц, полный юридического жаргона и сложных пунктов. После обработки документа я мог задавать вопросы, например, разрешит ли мой арендодатель завести собаку или есть ли дополнительные платежи, которые мне нужно будет оплатить. Я уже с нетерпением жду использования этой функции, чтобы разобраться в следующем договоре аренды, когда придёт время продлевать аренду квартиры.

Далее демонстрация стала ещё более впечатляющей. Двое сотрудников Google загрузили в Gemini PDF-файл огромного учебника по экономике — сотни страниц. Мне бы понадобились годы, чтобы его прочитать, но Gemini быстро составил краткое содержание и выделил ключевые темы для изучения. Он даже создал тест с множественным выбором, включающий один правильный ответ и три хитрых неправильных, чтобы помочь мне подготовиться к гипотетическому экзамену.

Сотрудники Google Сид Лалл (слева) и Адам Курзрок (справа) демонстрируют, как Gemini Advanced может теперь суммировать огромный учебник по экономике или тысячи страниц документов.

Обе эти демонстрации использовали Gemini 1.5 Pro, который мы представили ранее в этом году с самым длинным контекстным окном среди всех крупномасштабных базовых моделей. Теперь мы предоставляем ранний доступ к Gemini 1.5 Pro для подписчиков Gemini Advanced, позволяя им загружать документы прямо из Drive. Это означает, что они могут использовать Gemini для суммирования или анализа документов длиной до 1500 страниц.

Gemini 1.5 Pro также интегрируется в боковую панель приложений Workspace, таких как Gmail, Docs, Sheets, Slides и Drive. Я смог увидеть это в действии, используя Gemini в Gmail для суммирования образца еженедельного школьного отчёта по электронной почте, и он выделил конкретные детали, такие как мероприятия для учеников 7-го класса и список вещей для ночной поездки.

Боковая панель Gemini может помочь ответить на ключевые вопросы о вашем контенте в Gmail, Drive и других приложениях.

Улучшенное длинное контекстное окно может даже извлекать информацию из нескольких документов при ответе на один запрос. В Docs я попросил помочь написать образец письма потенциальному кандидату на работу, ссылаясь на документ с описанием вакансии и PDF-портфолио кандидата в моём Drive. Gemini мгновенно составил письмо, учитывающее детали из обоих документов.

Но Gemini 1.5 Pro — не единственный новичок. Я также смог поиграть с недавно анонсированной Imagen 3, нашей лучшей моделью для генерации изображений из текста. Одна крутая функция, которую я попробовал, — это её способность генерировать декоративный текст и буквы. Я попросил стилизованный алфавит, например, буквы из джема на тосте или серебряных воздушных шаров, парящих в небе. Imagen 3 создала полный алфавит букв, которые я затем мог использовать для создания собственных (вкусных) меню.

После весёлого опыта с Imagen 3 я вернулся к другим демонстрациям Gemini. Одна демонстрация позволила мне открыть наложение Gemini на телефоне Android и задавать вопросы о чём угодно на экране. Это показало, как мы не только расширяем возможности запросов к Gemini, но и делаем его контекстно-осведомлённым, чтобы предугадывать ваши потребности и предлагать полезные подсказки.

В качестве примера использовалось длинное руководство по духовке. Вместо того чтобы мучительно читать документ, я открыл Gemini и сразу получил предложение «Спросить этот PDF». Я задавал вопросы, например, «как обновить часы», и получал быстрые и точные ответы. Это работало так же хорошо с видео на YouTube. Вместо просмотра 20-минутного видео с тренировкой я спросил, как модифицировать планку, и получил ответ мгновенно, после чего перешёл к следующей демонстрации.

Следующая демонстрация представила новый режим разговора под названием Gemini Live, где вы можете общаться с Gemini в приложении без ввода текста. Разговор с Gemini был совсем не похож на обычный интерфейс чат-бота. Его ответы были более разговорными, а не просто параграфами текста или списками с пунктами. В моей демонстрации я попросил список детских мероприятий для летних каникул и смог прервать список, чтобы узнать больше о том, какие материалы понадобятся для окрашивания футболки методом тай-дай.

Демонстрация Project Astra вывела всё на новый уровень, показав, куда движутся наши проекты conversational AI.

Наш AI Sandbox, где разработчики и посетители пробовали демонстрации, такие как Project Astra и другие креативные эксперименты с AI, например, режим DJ в MusicFX.

Вместо того чтобы работать только с тем, что на вашем экране или что вы ввели в чат, мультимодальные возможности Astra могут одновременно понимать разговорные речевые запросы и живые видеопотоки, открывая новые виды AI-опытов.

Демонстрация аллитерации Astra началась просто: я показал камере объект, например, банан или кусок хлеба, и Gemini придумал аллитеративное предложение. По мере добавления объектов Gemini поддерживал беседу, от «Яркие бананы красиво красуются на доске» с одним фруктом до «Кулинарные творения могут привлечать взгляд», когда перед ним была целая доска с едой.

Astra создаёт аллитерации с бананами, багетами… и всем остальным, что вы можете показать.

Ещё одна демонстрация Astra позволила мне сыграть в Pictionary с Gemini. Это может звучать просто, но требовало от агента понимания изображений, запоминания того, что было нарисовано в каждом раунде, и использования общих знаний, чтобы угадать, что я рисую. В одной демонстрации Astra поняла, что одного круга недостаточно для предположения, но когда я добавил линии под ним, она быстро перешла от распознавания фигурки до определения, что человек, держащий эмодзи черепа, — это Гамлет.

Astra непобедима в Pictionary.

Перемещение по AI Sandbox и другим демонстрационным станциям ощущалось как взгляд в будущее. Это также было немного унизительно: Astra победила меня в Pictionary в нескольких раундах!