Близнецы раскрывают улучшенную модель, расширенный контекст, агенты ИИ

1.5 Flash выделяется в задачах, таких как суммирование, чат-приложения, подписи к изображениям и видео. Она также эффективно извлекает данные из длинных документов и таблиц. Эта универсальность обусловлена обучением через "дистилляцию" от 1.5 Pro, где основные знания и навыки большей модели передаются более эффективной меньшей модели.

Для получения подробной информации о 1.5 Flash ознакомьтесь с обновленным техническим отчетом Gemini 1.5, страницей технологий Gemini и узнайте о доступности и ценах.

Значительное улучшение 1.5 Pro

За последние месяцы мы добились значительных успехов в улучшении 1.5 Pro, нашего лидера по широкому спектру задач.

Мы расширили окно контекста до 2 миллионов токенов и улучшили возможности в генерации кода, логических рассуждениях, планировании, многоходовых диалогах, а также понимании аудио и изображений. Эти улучшения подкреплены достижениями в данных и алгоритмах, показывая значительные улучшения как на публичных, так и на внутренних тестах.

1.5 Pro теперь справляется с все более сложными и нюансированными инструкциями, включая те, которые определяют поведение на уровне продукта, такие как роль, формат и стиль. Мы усовершенствовали контроль над ответами модели для конкретных случаев использования, таких как настройка персон чат-агентов или автоматизация рабочих процессов с множественными вызовами функций. Пользователи теперь могут управлять поведением модели с помощью системных инструкций.

Мы также добавили понимание аудио в Gemini API и Google AI Studio, позволяя 1.5 Pro обрабатывать изображения и аудио из видео, загруженных в Google AI Studio. Мы интегрируем 1.5 Pro в продукты Google, такие как Gemini Advanced и приложения Workspace.

Для получения дополнительной информации о 1.5 Pro ознакомьтесь с обновленным техническим отчетом Gemini 1.5 и страницей технологий Gemini.

Gemini Nano понимает мультимодальные входные данные

Gemini Nano выходит на новый уровень, переходя от текстовых входных данных к включению изображений. Начиная с Pixel, приложения, использующие Gemini Nano с мультимодальностью, смогут интерпретировать мир более человечным способом через текст, визуальные образы, звук и устную речь.

Узнайте больше о Gemini 1.0 Nano на Android.

Следующее поколение открытых моделей

Сегодня мы также обновляем Gemma, наше семейство открытых моделей, построенных на тех же исследованиях и технологиях, что и модели Gemini.

Мы запускаем Gemma 2, наши открытые модели следующего поколения для ответственных инноваций в AI. Gemma 2 имеет новую архитектуру для превосходной производительности и эффективности и будет доступна в новых размерах.

Семейство Gemma расширяется с PaliGemma, нашей первой моделью визуально-языкового типа, вдохновленной PaLI-3. Мы также обновили наш набор инструментов Responsible Generative AI Toolkit с LLM Comparator для оценки качества ответов модели.

Для получения подробной информации посетите блог для разработчиков.

Прогресс в разработке универсальных AI-агентов

В Google DeepMind наша миссия — создавать AI ответственно на благо человечества. Мы всегда стремились к созданию универсальных AI-агентов, которые могут помогать в повседневной жизни. Поэтому мы делимся прогрессом в будущем AI-ассистентов с Project Astra (продвинутый агент, реагирующий на зрение и речь).

Чтобы AI-агент был действительно полезен, он должен понимать и реагировать на мир, как человек, воспринимая и запоминая увиденное и услышанное, чтобы улавливать контекст и действовать соответственно. Он также должен быть проактивным, обучаемым и персонализированным, обеспечивая естественные диалоги без задержек.

Хотя мы добились больших успехов в обработке мультимодальной информации, достижение времени отклика в разговоре — сложная инженерная задача. На протяжении многих лет мы совершенствовали восприятие, рассуждения и диалоги наших моделей, чтобы взаимодействия были более естественными.