Cohere presenta el modelo AIA AI mejor calificado

El laboratorio de investigación sin fines de lucro de Cohere acaba de lanzar un nuevo modelo de IA multimodal llamado Aya Vision, y lo califican como el mejor en su clase. Este modelo es bastante impresionante: puede generar subtítulos para imágenes, responder preguntas sobre fotos, traducir texto e incluso resumir contenido en 23 idiomas principales. Además, Cohere está poniendo Aya Vision a disposición de forma gratuita en WhatsApp, diciendo que es un gran paso para llevar estos avances tecnológicos a las manos de investigadores de todo el mundo.

En su publicación de blog, Cohere señaló que, aunque la IA ha estado avanzando, todavía existe una gran brecha en cómo los modelos manejan diferentes idiomas, especialmente cuando se combinan texto e imágenes. Ahí es donde entra Aya Vision, con el objetivo de cerrar esa brecha.

Aya Vision viene en dos versiones: la más robusta Aya Vision 32B y la más ligera Aya Vision 8B. La versión 32B, según Cohere, está estableciendo una "nueva frontera", superando a modelos el doble de grandes, como Llama-3.2 90B Vision de Meta, en algunas pruebas de comprensión visual. ¿Y la versión 8B? Se mantiene firme frente a modelos que son 10 veces más grandes.

Puedes obtener ambos modelos desde Hugging Face bajo una licencia Creative Commons 4.0, pero hay una condición: no son para uso comercial.

Cohere entrenó a Aya Vision usando una mezcla de conjuntos de datos en inglés, que tradujeron y convirtieron en anotaciones sintéticas. Estas anotaciones, o etiquetas, ayudan al modelo a entender los datos durante el entrenamiento. Por ejemplo, si estás entrenando un modelo de reconocimiento de imágenes, podrías usar anotaciones para marcar objetos o añadir subtítulos sobre lo que hay en la imagen.

Cohere dice que entrenar a Aya Vision con anotaciones sintéticas les permitió usar menos recursos mientras obtenían resultados de primera calidad. Todo se trata de eficiencia y hacer más con menos, dicen, lo cual es una gran noticia para los investigadores que no siempre tienen acceso a grandes recursos computacionales.

Junto con Aya Vision, Cohere lanzó un nuevo conjunto de pruebas llamado AyaVisionBench. Está diseñado para evaluar las habilidades de un modelo en tareas como detectar diferencias entre imágenes y convertir capturas de pantalla en código.

El mundo de la IA ha estado lidiando con lo que algunos llaman una "crisis de evaluación". Los puntos de referencia habituales te dan una puntuación general que no refleja realmente qué tan bien un modelo realiza las tareas que más importan a los usuarios. Cohere piensa que AyaVisionBench puede ayudar a solucionar eso, ofreciendo una forma rigurosa y amplia de evaluar las capacidades multilingües y multimodales de un modelo.

Esperemos que tengan razón. Los investigadores de Cohere dicen que el conjunto de datos es un punto de referencia sólido para probar modelos de visión-lenguaje en escenarios multilingües y del mundo real. Lo han puesto a disposición de la comunidad de investigación para ayudar a avanzar en las evaluaciones multimodales y multilingües.