Cohere раскрывает модель AYA Vision AI-Vision
Некоммерческая исследовательская лаборатория Cohere только что представила новую мультимодальную модель ИИ под названием Aya Vision, и они называют её лучшей в своём классе. Эта модель весьма впечатляющая — она может создавать подписи к изображениям, отвечать на вопросы о картинках, переводить текст и даже обобщать информацию на 23 основных языках. Кроме того, Cohere предоставляет Aya Vision бесплатно через WhatsApp, заявляя, что это важный шаг к тому, чтобы эти технологические прорывы стали доступны исследователям по всему миру.
В своём блоге Cohere отметили, что, хотя ИИ и делает успехи, всё ещё существует огромный разрыв в том, насколько хорошо модели справляются с разными языками, особенно когда речь идёт одновременно о тексте и изображениях. Именно здесь Aya Vision вступает в игру, стремясь преодолеть этот разрыв.
Aya Vision представлена в двух версиях: более мощной Aya Vision 32B и более лёгкой Aya Vision 8B. Версия 32B, по словам Cohere, устанавливает "новую границу", превосходя модели вдвое большего размера, такие как Llama-3.2 90B Vision от Meta, в некоторых тестах на визуальное понимание. А версия 8B? Она успешно конкурирует с моделями, которые в 10 раз больше.
Обе модели можно получить на Hugging Face под лицензией Creative Commons 4.0, но есть нюанс — они не предназначены для коммерческого использования.
Cohere обучала Aya Vision, используя комбинацию англоязычных наборов данных, которые они перевели и превратили в синтетические аннотации. Эти аннотации, или теги, помогают модели разбираться в данных во время обучения. Например, если вы обучаете модель распознавания изображений, аннотации могут использоваться для обозначения объектов или добавления подписей о том, что изображено на картинке.

Модель Aya Vision от Cohere способна выполнять ряд задач по визуальному пониманию. Источник изображения: Cohere Использование синтетических аннотаций сейчас в моде, несмотря на свои недостатки. Крупные игроки, такие как OpenAI, также переходят на синтетические данные, поскольку реальные данные становится всё сложнее добывать. По оценкам Gartner, в прошлом году 60% данных, использованных для проектов ИИ и аналитики, были синтетическими.Cohere утверждает, что обучение Aya Vision на синтетических аннотациях позволило им использовать меньше ресурсов, при этом достигая отличных результатов. Речь идёт об эффективности и достижении большего с меньшими затратами, что является хорошей новостью для исследователей, у которых не всегда есть доступ к большим вычислительным ресурсам.
Наряду с Aya Vision Cohere выпустила новый набор тестов под названием AyaVisionBench. Он разработан для проверки навыков модели в таких задачах, как обнаружение различий между изображениями и преобразование скриншотов в код.
Мир ИИ сталкивается с тем, что некоторые называют "кризисом оценки". Обычные тесты дают общий балл, который не отражает, насколько хорошо модель справляется с задачами, важными для большинства пользователей. Cohere считает, что AyaVisionBench может помочь исправить это, предлагая сложный и всесторонний способ проверки мультиязычных и мультимодальных возможностей модели.
Будем надеяться, что они правы. Исследователи Cohere говорят, что этот набор данных является надёжным ориентиром для тестирования моделей визуально-языкового взаимодействия в мультиязычных и реальных сценариях. Они сделали его доступным для исследовательского сообщества, чтобы способствовать развитию мультиязычных мультимодальных оценок.
Связанная статья
Cohere представляет семейство многоязычных моделей искусственного интеллекта с открытым исходным кодом
Компания Cohere, специализирующаяся на искусственном интеллекте для предприятий, представила новое семейство многоязычных моделей под названием Tiny Aya в рамках проходящего в настоящее время саммита
Cohere и Aleph Alpha объявляют о слиянии
Канадский стартап Cohere, занимающийся искусственным интеллектом, приобретает немецкую компанию Aleph Alpha при финансовой поддержке Schwarz Group — материнской компании сети продуктовых магазинов Lid
Cohere запускает безопасную платформу искусственного интеллекта для предприятий North
Инструменты искусственного интеллекта могут сократить количество повторяющихся задач в повседневных рабочих процессах, однако многие организации по-прежнему с осторожностью относятся к их внедрению. О
Рекомендации по связанным специальным темам
Комментарии (46)
Aya Vision klingt beeindruckend! Besonders die 23 Sprachen sind praktisch. Hoffentlich bleibt die Übersetzungsqualität auch bei komplexen Themen konsistent. 🤔 Würde mich interessieren, wie es sich im Alltag gegen GPT-4 behauptet.
Incroyable modèle de Cohere ! Mais est-ce que cette IA 'top-rated' tiendra ses promesses face à GPT-4 ? 🤔 Les fonctionnalités multilingues sont impressionnantes, mais j'aimerais voir plus de démos concrètes.
¡Interesante! Aya Vision parece ser un modelo bastante completo con esas capacidades multilingües. Me pregunto qué tan bien funcionará en idiomas menos comunes, sobre todo porque menciona '23 grandes idiomas'. ¿Habrá algún soporte para lenguas indígenas o regionales en el futuro? 🌎
This Aya Vision model sounds like a game-changer! Captioning images and translating in 23 languages? That’s some next-level tech. Can’t wait to see how it stacks up against the big players like OpenAI. 😎
Некоммерческая исследовательская лаборатория Cohere только что представила новую мультимодальную модель ИИ под названием Aya Vision, и они называют её лучшей в своём классе. Эта модель весьма впечатляющая — она может создавать подписи к изображениям, отвечать на вопросы о картинках, переводить текст и даже обобщать информацию на 23 основных языках. Кроме того, Cohere предоставляет Aya Vision бесплатно через WhatsApp, заявляя, что это важный шаг к тому, чтобы эти технологические прорывы стали доступны исследователям по всему миру.
В своём блоге Cohere отметили, что, хотя ИИ и делает успехи, всё ещё существует огромный разрыв в том, насколько хорошо модели справляются с разными языками, особенно когда речь идёт одновременно о тексте и изображениях. Именно здесь Aya Vision вступает в игру, стремясь преодолеть этот разрыв.
Aya Vision представлена в двух версиях: более мощной Aya Vision 32B и более лёгкой Aya Vision 8B. Версия 32B, по словам Cohere, устанавливает "новую границу", превосходя модели вдвое большего размера, такие как Llama-3.2 90B Vision от Meta, в некоторых тестах на визуальное понимание. А версия 8B? Она успешно конкурирует с моделями, которые в 10 раз больше.
Обе модели можно получить на Hugging Face под лицензией Creative Commons 4.0, но есть нюанс — они не предназначены для коммерческого использования.
Cohere обучала Aya Vision, используя комбинацию англоязычных наборов данных, которые они перевели и превратили в синтетические аннотации. Эти аннотации, или теги, помогают модели разбираться в данных во время обучения. Например, если вы обучаете модель распознавания изображений, аннотации могут использоваться для обозначения объектов или добавления подписей о том, что изображено на картинке.

Cohere утверждает, что обучение Aya Vision на синтетических аннотациях позволило им использовать меньше ресурсов, при этом достигая отличных результатов. Речь идёт об эффективности и достижении большего с меньшими затратами, что является хорошей новостью для исследователей, у которых не всегда есть доступ к большим вычислительным ресурсам.
Наряду с Aya Vision Cohere выпустила новый набор тестов под названием AyaVisionBench. Он разработан для проверки навыков модели в таких задачах, как обнаружение различий между изображениями и преобразование скриншотов в код.
Мир ИИ сталкивается с тем, что некоторые называют "кризисом оценки". Обычные тесты дают общий балл, который не отражает, насколько хорошо модель справляется с задачами, важными для большинства пользователей. Cohere считает, что AyaVisionBench может помочь исправить это, предлагая сложный и всесторонний способ проверки мультиязычных и мультимодальных возможностей модели.
Будем надеяться, что они правы. Исследователи Cohere говорят, что этот набор данных является надёжным ориентиром для тестирования моделей визуально-языкового взаимодействия в мультиязычных и реальных сценариях. Они сделали его доступным для исследовательского сообщества, чтобы способствовать развитию мультиязычных мультимодальных оценок.
Cohere представляет семейство многоязычных моделей искусственного интеллекта с открытым исходным кодом
Компания Cohere, специализирующаяся на искусственном интеллекте для предприятий, представила новое семейство многоязычных моделей под названием Tiny Aya в рамках проходящего в настоящее время саммита
Cohere и Aleph Alpha объявляют о слиянии
Канадский стартап Cohere, занимающийся искусственным интеллектом, приобретает немецкую компанию Aleph Alpha при финансовой поддержке Schwarz Group — материнской компании сети продуктовых магазинов Lid
Cohere запускает безопасную платформу искусственного интеллекта для предприятий North
Инструменты искусственного интеллекта могут сократить количество повторяющихся задач в повседневных рабочих процессах, однако многие организации по-прежнему с осторожностью относятся к их внедрению. О
Aya Vision klingt beeindruckend! Besonders die 23 Sprachen sind praktisch. Hoffentlich bleibt die Übersetzungsqualität auch bei komplexen Themen konsistent. 🤔 Würde mich interessieren, wie es sich im Alltag gegen GPT-4 behauptet.
Incroyable modèle de Cohere ! Mais est-ce que cette IA 'top-rated' tiendra ses promesses face à GPT-4 ? 🤔 Les fonctionnalités multilingues sont impressionnantes, mais j'aimerais voir plus de démos concrètes.
¡Interesante! Aya Vision parece ser un modelo bastante completo con esas capacidades multilingües. Me pregunto qué tan bien funcionará en idiomas menos comunes, sobre todo porque menciona '23 grandes idiomas'. ¿Habrá algún soporte para lenguas indígenas o regionales en el futuro? 🌎
This Aya Vision model sounds like a game-changer! Captioning images and translating in 23 languages? That’s some next-level tech. Can’t wait to see how it stacks up against the big players like OpenAI. 😎





Дом






