Experts Highlight Serious Flaws in Crowdsourced AI Benchmarks

Os laboratórios de IA estão cada vez mais recorrendo a plataformas de benchmarking de crowdsourcing, como o Chatbot Arena, para avaliar as capacidades de seus modelos mais recentes. No entanto, alguns especialistas argumentam que esse método levanta preocupações éticas e acadêmicas significativas.

Nos últimos anos, grandes players como OpenAi, Google e Meta utilizaram plataformas que envolvem os usuários para avaliar o desempenho de seus próximos modelos. Uma pontuação alta nessas plataformas é frequentemente destacada pelos laboratórios como uma prova do avanço de seu modelo. No entanto, essa abordagem não deixa de ter seus críticos.

A crítica do benchmarking de crowdsourcing

Emily Bender, professora de linguística da Universidade de Washington e co-autor de "The Ai Con", manifestou preocupações sobre a validade de tais benchmarks, particularmente chatbot arena. Essa plataforma envolve voluntários comparando respostas de dois modelos anônimos e escolhendo o preferido. Bender argumenta que, para que uma referência seja eficaz, ele deve medir algo específico e demonstrar validade de construção, o que significa que a medição deve refletir com precisão o construto que está sendo avaliado. Ela afirma que o Chatbot Arena carece de evidências de que as preferências do usuário por uma saída sobre outra se correlacionam genuinamente com qualquer critério definido.

Asmelash Teka Hadgu, co-fundadora da empresa de IA Lesan e bolsista do Instituto de Pesquisa Distribuído da IA, sugere que esses parâmetros de referência estão sendo explorados pela IA Labs para fazer reivindicações exageradas sobre seus modelos. Ele citou um incidente recente com o modelo Maverick da Meta Llama 4, onde meta ajustou uma versão para ter um bom desempenho na Chatbot Arena, mas optou por lançar uma versão menos eficaz. O Hadgu defende os benchmarks a serem dinâmicos, distribuídos em várias entidades independentes e adaptadas a casos de uso específicos em campos como educação e saúde por profissionais que usam esses modelos em seu trabalho.

A chamada para métodos de remuneração justa e avaliação mais amplos

Hadgu e Kristine Gloria, ex -líder da iniciativa emergente e inteligente de tecnologias do Aspen Institute, argumentam que os avaliadores devem ser compensados ​​por seu trabalho, atraindo paralelos à indústria de rotulagem de dados frequentemente exploradores. A Gloria vê o benchmarking de crowdsourcing como valioso, semelhante às iniciativas científicas do cidadão, mas enfatiza que os benchmarks não devem ser a única métrica para avaliação, especialmente devido ao rápido ritmo da inovação da indústria.

Matt Fredrikson, CEO da Gray Swan AI, que conduz campanhas de equipes Red Red, reconhece o apelo de tais plataformas para voluntários que procuram aprender e praticar novas habilidades. No entanto, ele enfatiza que os benchmarks públicos não podem substituir as avaliações mais aprofundadas fornecidas por avaliações privadas pagas. Fredrikson sugere que os desenvolvedores também devem confiar em benchmarks internos, equipes vermelhas algorítmicas e especialistas contratados que podem oferecer informações mais abertas e específicas de domínio.

Perspectivas da indústria sobre benchmarking

Alex Atallah, CEO da Model Marketplace OpenRouter, e Wei-Lin Chiang, um estudante de doutorado da AI da UC Berkeley e um dos fundadores da Lmarena (que gerencia o Chatbot Arena), concorda que testes abertos e benchmarking somente são insuficientes. Chiang enfatiza que o objetivo de Lmarena é fornecer um espaço aberto e confiável para medir preferências da comunidade sobre diferentes modelos de IA.

Abordando a controvérsia em torno da referência do Maverick, Chiang esclarece que esses incidentes não são devidos a falhas no design da Chatbot Arena, mas sim interpretações errôneas de suas políticas pelos laboratórios. Desde então, a Lmarena atualizou suas políticas para garantir avaliações justas e reproduzíveis. Chiang ressalta que a comunidade da plataforma não é apenas um grupo de voluntários ou testadores, mas um grupo engajado que fornece feedback coletivo sobre os modelos de IA.

O debate em andamento sobre o uso de plataformas de benchmarking de crowdsourcing destaca a necessidade de uma abordagem mais sutil à avaliação do modelo de IA, que combina informações públicas com avaliações profissionais rigorosas para garantir a precisão e a justiça.