Cohere раскрывает модель AYA Vision AI-Vision

Некоммерческая исследовательская лаборатория Cohere только что представила новую мультимодальную модель ИИ под названием Aya Vision, и они называют её лучшей в своём классе. Эта модель весьма впечатляющая — она может создавать подписи к изображениям, отвечать на вопросы о картинках, переводить текст и даже обобщать информацию на 23 основных языках. Кроме того, Cohere предоставляет Aya Vision бесплатно через WhatsApp, заявляя, что это важный шаг к тому, чтобы эти технологические прорывы стали доступны исследователям по всему миру.

В своём блоге Cohere отметили, что, хотя ИИ и делает успехи, всё ещё существует огромный разрыв в том, насколько хорошо модели справляются с разными языками, особенно когда речь идёт одновременно о тексте и изображениях. Именно здесь Aya Vision вступает в игру, стремясь преодолеть этот разрыв.

Aya Vision представлена в двух версиях: более мощной Aya Vision 32B и более лёгкой Aya Vision 8B. Версия 32B, по словам Cohere, устанавливает "новую границу", превосходя модели вдвое большего размера, такие как Llama-3.2 90B Vision от Meta, в некоторых тестах на визуальное понимание. А версия 8B? Она успешно конкурирует с моделями, которые в 10 раз больше.

Обе модели можно получить на Hugging Face под лицензией Creative Commons 4.0, но есть нюанс — они не предназначены для коммерческого использования.

Cohere обучала Aya Vision, используя комбинацию англоязычных наборов данных, которые они перевели и превратили в синтетические аннотации. Эти аннотации, или теги, помогают модели разбираться в данных во время обучения. Например, если вы обучаете модель распознавания изображений, аннотации могут использоваться для обозначения объектов или добавления подписей о том, что изображено на картинке.

Cohere утверждает, что обучение Aya Vision на синтетических аннотациях позволило им использовать меньше ресурсов, при этом достигая отличных результатов. Речь идёт об эффективности и достижении большего с меньшими затратами, что является хорошей новостью для исследователей, у которых не всегда есть доступ к большим вычислительным ресурсам.

Наряду с Aya Vision Cohere выпустила новый набор тестов под названием AyaVisionBench. Он разработан для проверки навыков модели в таких задачах, как обнаружение различий между изображениями и преобразование скриншотов в код.

Мир ИИ сталкивается с тем, что некоторые называют "кризисом оценки". Обычные тесты дают общий балл, который не отражает, насколько хорошо модель справляется с задачами, важными для большинства пользователей. Cohere считает, что AyaVisionBench может помочь исправить это, предлагая сложный и всесторонний способ проверки мультиязычных и мультимодальных возможностей модели.

Будем надеяться, что они правы. Исследователи Cohere говорят, что этот набор данных является надёжным ориентиром для тестирования моделей визуально-языкового взаимодействия в мультиязычных и реальных сценариях. Они сделали его доступным для исследовательского сообщества, чтобы способствовать развитию мультиязычных мультимодальных оценок.