Los expertos destacan defectos serios en los puntos de referencia de IA de crowdsourcing

Los laboratorios de IA están recurriendo cada vez más a plataformas de evaluación colaborativa como Chatbot Arena para evaluar las capacidades de sus últimos modelos. Sin embargo, algunos expertos argumentan que este método plantea preocupaciones éticas y académicas significativas.

En los últimos años, actores importantes como OpenAI, Google y Meta han utilizado plataformas que involucran a usuarios para evaluar el rendimiento de sus próximos modelos. Una alta puntuación en estas plataformas suele ser destacada por los laboratorios como testimonio del avance de su modelo. No obstante, este enfoque no está exento de críticas.

La crítica a la evaluación colaborativa

Emily Bender, profesora de lingüística en la Universidad de Washington y coautora de "The AI Con", ha expresado preocupaciones sobre la validez de dichos puntos de referencia, particularmente Chatbot Arena. Esta plataforma involucra a voluntarios que comparan respuestas de dos modelos anónimos y eligen su preferido. Bender sostiene que, para que un punto de referencia sea efectivo, debe medir algo específico y demostrar validez de constructo, lo que significa que la medición debe reflejar con precisión el constructo evaluado. Ella argumenta que Chatbot Arena carece de evidencia de que las preferencias de los usuarios por una salida sobre otra se correlacionen genuinamente con criterios definidos.

Asmelash Teka Hadgu, cofundador de la empresa de IA Lesan y miembro del Instituto de Investigación de IA Distribuida, sugiere que estos puntos de referencia están siendo explotados por los laboratorios de IA para hacer afirmaciones exageradas sobre sus modelos. Citó un incidente reciente con el modelo Llama 4 Maverick de Meta, donde Meta ajustó una versión para destacar en Chatbot Arena, pero optó por lanzar una versión menos efectiva. Hadgu aboga por puntos de referencia dinámicos, distribuidos entre múltiples entidades independientes y adaptados a casos de uso específicos en campos como la educación y la salud por profesionales que utilizan estos modelos en su trabajo.

La demanda de compensación justa y métodos de evaluación más amplios

Hadgu y Kristine Gloria, exlíder de la Iniciativa de Tecnologías Emergentes e Inteligentes del Instituto Aspen, argumentan que los evaluadores deben ser compensados por su trabajo, estableciendo paralelos con la industria de etiquetado de datos, a menudo explotadora. Gloria ve la evaluación colaborativa como valiosa, similar a las iniciativas de ciencia ciudadana, pero enfatiza que los puntos de referencia no deben ser la única métrica de evaluación, especialmente dado el rápido ritmo de innovación en la industria.

Matt Fredrikson, CEO de Gray Swan AI, que realiza campañas de pruebas colaborativas de equipos rojos, reconoce el atractivo de estas plataformas para voluntarios que buscan aprender y practicar nuevas habilidades. Sin embargo, subraya que los puntos de referencia públicos no pueden reemplazar las evaluaciones más profundas proporcionadas por evaluaciones privadas remuneradas. Fredrikson sugiere que los desarrolladores también deben depender de puntos de referencia internos, equipos rojos algorítmicos y expertos contratados que puedan ofrecer perspectivas más abiertas y específicas del dominio.

Perspectivas de la industria sobre la evaluación

Alex Atallah, CEO del mercado de modelos OpenRouter, y Wei-Lin Chiang, estudiante doctoral en IA en UC Berkeley y uno de los fundadores de LMArena (que gestiona Chatbot Arena), coinciden en que las pruebas y evaluaciones abiertas por sí solas son insuficientes. Chiang enfatiza que el objetivo de LMArena es proporcionar un espacio abierto y confiable para medir las preferencias de la comunidad sobre diferentes modelos de IA.

Abordando la controversia en torno al punto de referencia Maverick, Chiang aclara que tales incidentes no se deben a fallos en el diseño de Chatbot Arena, sino a malas interpretaciones de sus políticas por parte de los laboratorios. LMArena ha actualizado desde entonces sus políticas para garantizar evaluaciones justas y reproducibles. Chiang subraya que la comunidad de la plataforma no es simplemente un grupo de voluntarios o probadores, sino un grupo comprometido que proporciona retroalimentación colectiva sobre los modelos de IA.

El debate en curso sobre el uso de plataformas de evaluación colaborativa destaca la necesidad de un enfoque más matizado para la evaluación de modelos de IA, uno que combine la opinión pública con evaluaciones profesionales rigurosas para garantizar tanto precisión como equidad.