Эксперты выделяют серьезные недостатки в краудсорсинговых тестах ИИ

Лаборатории ИИ всё чаще обращаются к платформам краудсорсингового бенчмаркинга, таким как Chatbot Arena, для оценки возможностей своих новейших моделей. Однако некоторые эксперты утверждают, что этот метод вызывает серьёзные этические и академические вопросы.

В последние годы крупные игроки, такие как OpenAI, Google и Meta, используют платформы, которые привлекают пользователей для оценки производительности их будущих моделей. Высокий балл на этих платформах часто подчёркивается лабораториями как свидетельство прогресса их модели. Однако этот подход не обходится без критики.

Критика краудсорсингового бенчмаркинга

Эмили Бендер, профессор лингвистики в Университете Вашингтона и соавтор книги "The AI Con", выразила обеспокоенность по поводу валидности таких бенчмарков, в частности Chatbot Arena. Эта платформа предполагает, что волонтёры сравнивают ответы двух анонимных моделей и выбирают предпочтительный. Бендер утверждает, что для эффективности бенчмарка он должен измерять что-то конкретное и демонстрировать конструктивную валидность, то есть измерение должно точно отражать оцениваемый конструкт. Она считает, что Chatbot Arena не имеет доказательств того, что предпочтение пользователей одного ответа над другим действительно коррелирует с какими-либо определёнными критериями.

Асмелаш Тека Хадгу, сооснователь компании Lesan, занимающейся ИИ, и сотрудник Института распределённых исследований ИИ, предполагает, что эти бенчмарки используются лабораториями ИИ для преувеличенных заявлений о своих моделях. Он упомянул недавний инцидент с моделью Llama 4 Maverick от Meta, где Meta оптимизировала версию для хороших результатов на Chatbot Arena, но решила выпустить менее эффективную версию. Хадгу выступает за то, чтобы бенчмарки были динамическими, распределёнными между несколькими независимыми организациями и адаптированными к конкретным случаям использования в таких областях, как образование и здравоохранение, профессионалами, которые применяют эти модели в своей работе.

Призыв к справедливой оплате и более широким методам оценки

Хадгу и Кристин Глория, бывший руководитель инициативы по новым и интеллектуальным технологиям Института Аспена, утверждают, что оценщики должны получать компенсацию за свою работу, проводя параллели с часто эксплуататорской индустрией маркировки данных. Глория считает краудсорсинговый бенчмаркинг ценным, подобно инициативам гражданской науки, но подчёркивает, что бенчмарки не должны быть единственным критерием оценки, особенно учитывая быстрый темп инноваций в отрасли.

Мэтт Фредриксон, генеральный директор Gray Swan AI, проводящей краудсорсинговые кампании по тестированию на уязвимости, признаёт привлекательность таких платформ для волонтёров, стремящихся изучать и практиковать новые навыки. Однако он подчёркивает, что публичные бенчмарки не могут заменить более глубокие оценки, предоставляемые платными частными экспертизами. Фредриксон предлагает, чтобы разработчики также полагались на внутренние бенчмарки, алгоритмические команды по тестированию уязвимостей и привлечённых экспертов, которые могут предложить более открытые и специфичные для домена выводы.

Взгляды индустрии на бенчмаркинг

Алекс Аталлах, генеральный директор модельного маркетплейса OpenRouter, и Вэй-Лин Чан, докторант по ИИ в Калифорнийском университете в Беркли и один из основателей LMArena (управляющей Chatbot Arena), согласны, что открытые тестирования и бенчмаркинг сами по себе недостаточны. Чан подчёркивает, что цель LMArena — предоставить надёжное, открытое пространство для оценки предпочтений сообщества относительно различных моделей ИИ.

Касаясь споров вокруг бенчмарка Maverick, Чан уточняет, что такие инциденты связаны не с недостатками в дизайне Chatbot Arena, а с неверной интерпретацией её политики лабораториями. LMArena с тех пор обновила свои правила, чтобы обеспечить справедливые и воспроизводимые оценки. Чан подчёркивает, что сообщество платформы — это не просто группа волонтёров или тестировщиков, а вовлечённая группа, которая предоставляет коллективную обратную связь по моделям ИИ.

Продолжающиеся дебаты вокруг использования платформ краудсорсингового бенчмаркинга подчёркивают необходимость более тонкого подхода к оценке моделей ИИ, сочетающего общественный вклад с тщательными профессиональными оценками для обеспечения точности и справедливости.