Cohere tiết lộ mô hình AYA Vision được xếp hạng hàng đầu

Phòng nghiên cứu phi lợi nhuận của Cohere vừa ra mắt một mô hình AI đa phương thức mới có tên là Aya Vision, và họ gọi đây là mô hình xuất sắc nhất trong hạng mục của nó. Mô hình này rất ấn tượng—nó có thể tạo chú thích cho hình ảnh, trả lời các câu hỏi về hình ảnh, dịch văn bản, và thậm chí tóm tắt nội dung bằng 23 ngôn ngữ chính. Hơn nữa, Cohere đang cung cấp Aya Vision miễn phí trên WhatsApp, cho rằng đây là một bước tiến lớn để đưa những đột phá công nghệ này đến tay các nhà nghiên cứu ở khắp mọi nơi.

Trong bài đăng blog của mình, Cohere chỉ ra rằng mặc dù AI đã đạt được nhiều tiến bộ, vẫn còn một khoảng cách lớn trong việc các mô hình xử lý các ngôn ngữ khác nhau, đặc biệt khi kết hợp cả văn bản và hình ảnh. Đó là lúc Aya Vision xuất hiện, nhằm thu hẹp khoảng cách đó.

Aya Vision có hai phiên bản: phiên bản mạnh mẽ hơn Aya Vision 32B và phiên bản nhẹ hơn Aya Vision 8B. Theo Cohere, phiên bản 32B đang thiết lập một "biên giới mới", vượt qua các mô hình lớn gấp đôi kích thước của nó, như Llama-3.2 90B Vision của Meta, trong một số bài kiểm tra về khả năng hiểu hình ảnh. Còn phiên bản 8B? Nó cũng đang giữ vững vị trí của mình trước các mô hình lớn gấp 10 lần.

Bạn có thể tải cả hai mô hình từ Hugging Face theo giấy phép Creative Commons 4.0, nhưng có một lưu ý—chúng không được sử dụng cho mục đích thương mại.

Cohere đã huấn luyện Aya Vision bằng cách sử dụng một tập hợp dữ liệu tiếng Anh, mà họ đã dịch và biến thành các chú thích tổng hợp. Những chú thích này, hoặc các thẻ, giúp mô hình hiểu dữ liệu trong quá trình huấn luyện. Ví dụ, nếu bạn đang huấn luyện một mô hình nhận diện hình ảnh, bạn có thể sử dụng các chú thích để đánh dấu các đối tượng hoặc thêm chú thích về những gì có trong bức ảnh.

Cohere cho biết việc huấn luyện Aya Vision trên các chú thích tổng hợp cho phép họ sử dụng ít tài nguyên hơn mà vẫn đạt được kết quả hàng đầu. Họ nói rằng điều này liên quan đến hiệu quả và làm được nhiều hơn với ít tài nguyên hơn, đó là tin tuyệt vời cho các nhà nghiên cứu không phải lúc nào cũng có quyền truy cập vào các tài nguyên tính toán lớn.

Cùng với Aya Vision, Cohere đã phát hành một bộ công cụ đánh giá mới có tên là AyaVisionBench. Bộ công cụ này được thiết kế để kiểm tra kỹ năng của mô hình trong các nhiệm vụ như phát hiện sự khác biệt giữa các hình ảnh và chuyển đổi ảnh chụp màn hình thành mã.

Thế giới AI đã phải đối mặt với cái mà một số người gọi là "khủng hoảng đánh giá". Các tiêu chuẩn đánh giá thông thường cung cấp một điểm số tổng thể không thực sự phản ánh mức độ tốt của mô hình trong các nhiệm vụ quan trọng đối với hầu hết người dùng. Cohere tin rằng AyaVisionBench có thể giúp khắc phục điều đó, cung cấp một cách kiểm tra khó khăn và toàn diện để đánh giá khả năng đa ngôn ngữ và đa phương thức của mô hình.

Hy vọng họ đúng. Các nhà nghiên cứu của Cohere cho biết tập dữ liệu này là một tiêu chuẩn vững chắc để kiểm tra các mô hình ngôn ngữ-hình ảnh trong các kịch bản đa ngôn ngữ và thực tế. Họ đã cung cấp nó cho cộng đồng nghiên cứu để giúp thúc đẩy các đánh giá đa phương thức đa ngôn ngữ.