Cohere는 최고 등급의 AYA Vision AI 모델을 공개합니다

Cohere의 비영리 연구소가 새로운 멀티모달 AI 모델인 Aya Vision을 공개했으며, 이를 동급 최고로 평가하고 있습니다. 이 모델은 매우 뛰어납니다—이미지 캡션을 생성하고, 사진에 대한 질문에 답하며, 텍스트를 번역하고, 23개 주요 언어로 내용을 요약할 수 있습니다. 게다가 Cohere는 Aya Vision을 WhatsApp에서 무료로 제공하며, 이러한 기술 혁신을 전 세계 연구자들의 손에 쥐여주는 큰 걸음이라고 말합니다.

그들의 블로그 포스트에서 Cohere는 AI가 발전하고 있지만, 특히 텍스트와 이미지를 모두 처리할 때 모델이 다양한 언어를 얼마나 잘 다루는지에 큰 격차가 여전히 존재한다고 지적했습니다. 여기서 Aya Vision이 등장해 그 격차를 좁히는 것을 목표로 합니다.

Aya Vision은 두 가지 버전으로 제공됩니다: 더 강력한 Aya Vision 32B와 더 가벼운 Aya Vision 8B입니다. Cohere에 따르면 32B 버전은 "새로운 경지"를 열었으며, Meta의 Llama-3.2 90B Vision과 같은 두 배 크기의 모델을 일부 시각 이해 테스트에서 능가합니다. 그리고 8B 버전은? 10배 큰 모델들과도 당당히 경쟁합니다.

두 모델 모두 Hugging Face에서 Creative Commons 4.0 라이선스로 다운로드할 수 있지만, 상업적 사용은 불가능하다는 제약이 있습니다.

Cohere는 영어 데이터셋을 혼합해 Aya Vision을 훈련시켰으며, 이를 번역하고 합성 주석으로 변환했습니다. 이러한 주석 또는 태그는 훈련 중 모델이 데이터를 이해하는 데 도움을 줍니다. 예를 들어, 이미지 인식 모델을 훈련시킬 때 주석을 사용해 객체를 표시하거나 그림에 대한 캡션을 추가할 수 있습니다.

Cohere는 합성 주석으로 Aya Vision을 훈련시키면 더 적은 자원을 사용하면서도 최고 수준의 결과를 얻을 수 있다고 말합니다. 그들은 효율성과 적은 자원으로 더 많은 것을 해내는 것이 목표라고 하며, 이는 대규모 컴퓨팅 자원에 항상 접근할 수 없는 연구자들에게 좋은 소식입니다.

Aya Vision과 함께 Cohere는 AyaVisionBench라는 새로운 벤치마크 스위트를 공개했습니다. 이는 이미지 간 차이점을 찾아내거나 스크린샷을 코드로 변환하는 등의 작업에서 모델의 기술을 테스트하도록 설계되었습니다.

AI 세계는 일부 사람들이 "평가 위기"라고 부르는 문제로 어려움을 겪고 있습니다. 일반적인 벤치마크는 전체 점수를 제공하지만, 이는 대부분의 사용자에게 중요한 작업에서 모델이 얼마나 잘 수행하는지를 제대로 반영하지 않습니다. Cohere는 AyaVisionBench가 이를 해결할 수 있으며, 모델의 다국어 및 멀티모달 능력을 확인하는 어렵고 포괄적인 방법을 제공한다고 생각합니다.

그들이 옳기를 바랍니다. Cohere의 연구자들은 이 데이터셋이 다국어 및 실제 시나리오에서 시각-언어 모델을 테스트하기 위한 견고한 벤치마크라고 말합니다. 그들은 다국어 멀티모달 평가를 발전시키기 위해 연구 커뮤니티에 이를 공개했습니다.