Cohereは、最高評価のAYA Vision AIモデルを発表します

Cohereの非営利研究ラボが、Aya Visionという新しいマルチモーダルAIモデルを発表し、クラス最高と称しています。このモデルは非常に優れており、画像キャプションの作成、画像に関する質問への回答、テキストの翻訳、さらには23の主要言語での要約が可能です。さらに、CohereはAya VisionをWhatsAppで無料提供し、これらの技術的進歩を世界中の研究者の手に届ける大きな一歩だと述べています。

彼らのブログ投稿では、AIが進歩している一方で、モデルが異なる言語、特にテキストと画像の両方を扱う場合のパフォーマンスに大きな差があると指摘しています。そこでAya Visionが登場し、そのギャップを埋めることを目指しています。

Aya Visionには2つのバージョンがあります：より高性能なAya Vision 32Bと、軽量なAya Vision 8Bです。Cohereによると、32Bバージョンは「新たなフロンティア」を設定し、MetaのLlama-3.2 90B Visionのような2倍のサイズのモデルを、一部の視覚理解テストで上回っています。そして8Bバージョンは、10倍大きなモデルに対抗できる実力を持っています。

両モデルはHugging FaceからCreative Commons 4.0ライセンスで入手可能ですが、商用利用はできません。

Cohereは、英語のデータセットを翻訳し、合成アノテーションに変換してAya Visionを訓練しました。これらのアノテーション、つまりタグは、訓練中にモデルがデータを理解するのに役立ちます。たとえば、画像認識モデルの訓練では、アノテーションを使ってオブジェクトをマークしたり、画像の内容に関するキャプションを追加したりします。

Cohereは、合成アノテーションでAya Visionを訓練することで、少ないリソースで最高の結果を得たと述べています。効率性と少ないリソースでより多くのことを行うことが、大きなコンピューティングリソースにアクセスできない研究者にとって朗報だと彼らは言います。

Aya Visionと同時に、CohereはAyaVisionBenchという新しいベンチマークスイートをリリースしました。これは、画像間の違いを特定したり、スクリーンショットをコードに変換したりするタスクで罐でモデルのスキルをテストするために設計されています。

AI業界では、いわゆる「評価危機」に悩まされています。通常のベンチマークでは、ユーザーにとって重要なタスクでのモデルのパフォーマンスを正確に反映しない全体的なスコアしか得られません。Cohereは、AyaVisionBenchがこの問題を解決し、モデルの多言語およびマルチモーダルな能力を厳しく幅広くチェックする方法を提供できると考えています。

その通りであってほしいものです。Cohereの研究者たちは、このデータセットが多言語および現実世界のシナリオでビジョン言語モデルのテストに適した強力なベンチマークだと述べています。彼らは研究コミュニティに提供し、多言語マルチモーダル評価の推進を支援しています。