Google утверждает, что Gemini 2.5 Pro превосходит DeepSeek R1 и Grok 3 Beta в бенчмарках кодирования

Компания Google представила обновленную предварительную версию своей флагманской модели Gemini 2.5 Pro, которая была представлена в марте и усовершенствована в мае. Эта итерация, описанная как "самый интеллектуальный" ИИ компании на сегодняшний день, в настоящее время находится в предварительной версии, а ее общая доступность планируется в течение нескольких недель.

Теперь компании могут экспериментировать с разработкой новых приложений или модернизацией существующих, используя обновленную "редакцию I/O" Gemini 2.5 Pro. Согласно официальному заявлению Google, эта версия обеспечивает более образные ответы и демонстрирует более высокие возможности в программировании и логическом мышлении по сравнению с предыдущими версиями.

Наше последнее обновление Gemini 2.5 Pro находится в стадии предварительного просмотра.

Оно лучше в кодировании, логике, науке + математике, демонстрирует улучшенную производительность в ключевых бенчмарках (AIDER Polyglot, GPQA, HLE и др.) и лидирует в рейтинге @lmarena_ai, набрав 24 балла Elo по сравнению с предыдущей версией.

Мы также... pic.twitter.com/SVjdQ2k1tJ

- Сундар Пичаи (@sundarpichai) 5 июня 2025 г.

На своей майской конференции для разработчиков Google показала улучшения Gemini 2.5 Pro, которые превзошли предыдущий тихий релиз. Демис Хассабис, генеральный директор Google DeepMind, отметил, что версия I/O является самой передовой моделью кодирования компании на сегодняшний день.

Новая предварительная версия, получившая обозначение Gemini 2.5 Pro Preview 06-05 Thinking, превосходит возможности версии I/O. Предстоящий публичный релиз обещает производительность и масштабируемость корпоративного уровня.

Оригинальная версия I/O (gemini-2.5-pro-preview-05-06) стала доступна для разработчиков и корпораций в мае через Google AI Studio и Vertex AI. Расширенная версия Gemini 2.5 Pro Preview 06-05 Thinking доступна по тем же каналам.

Показатели производительности

Обновленный Gemini 2.5 Pro демонстрирует заметные улучшения по сравнению с предшественником.

Google сообщила о повышении производительности на 24 пункта в LMArena и на 35 пунктов в WebDevArena, где он теперь лидирует в рейтингах конкурентов. Сравнительное тестирование показало превосходство над такими моделями, как OpenAI o3, o3-mini и o4-mini, Anthropic's Claude 4 Opus, xAI's Grok 3 Beta и DeepSeek R1.

"Мы также учли отзывы о предыдущих релизах 2.5 Pro, улучшив стиль и структуру - теперь ответы могут быть более креативными и лучше отформатированными", - говорится в сообщении Google.

Что ожидает предприятия

Хотя быстрые улучшения Gemini 2.5 Pro от Google могут показаться сложными, компания позиционирует их как прямую реакцию на мнения пользователей. Цена новой версии составляет 1,25 доллара за миллион входных маркеров (без кэширования) и 10 долларов за миллион выходных маркеров.

Когда Gemini 2.5 Pro дебютировала в марте, отраслевые наблюдатели признали ее недостаточно используемой передовой моделью. С тех пор Google внедрила эту технологию в многочисленные приложения, включая функцию "Глубокое мышление", которая оценивает несколько гипотез, прежде чем генерировать ответы.

Выпуск Gemini 2.5 Pro и последующие обновления укрепили позиции Google в конкурентной среде больших языковых моделей, отвоевав внимание у конкурирующих моделей рассуждений от DeepSeek и OpenAI.

Уже через несколько часов после анонса разработчики начали тестировать обновленную Gemini 2.5 Pro. Первые впечатления подтверждают заявления Google об ускоренной производительности, хотя всесторонняя оценка ее расширенных возможностей еще продолжается.

Первый час работы с "Gemini 2.5 Pro Preview 06-05"

Положительные стороны:

- Быстрее
- Производительность выше
- Лучше воспроизведение макросов (редактирование нескольких файлов, лучший обзор)
- Структура выходных данных лучше (читабельнее)
- Он более лаконичен и менее апологетичен!!!

Раньше: "Вы абсолютно...

- Патрик Баде (@nishffx) 5 июня 2025 г.

Ребята, вы готовите, мне очень нравится конструктор приложений.

Сделал игру и протестировал ее, используя imagen для создания активов на лету. И вот она уже готова, размещена на хостинге, ею легко поделиться. Это действительно лучший конструктор без опыта работы с кодом.

Продолжайте развивать рынок приложений vibe, это может...

- bone (@boneGPT) 5 июня 2025 г.

Gemini 2.5 Pro Preview довольно хорош... использовал его вчера для глубокого исследования и результаты лучше, чем у некоторых крупных...

- Janak (@janaks09) June 5, 2025