전문가들은 크라우드 소싱 AI 벤치 마크에서 심각한 결함을 강조합니다

AI 연구소들은 최신 모델의 능력을 평가하기 위해 Chatbot Arena와 같은 크라우드소싱 벤치마킹 플랫폼을 점점 더 많이 활용하고 있습니다. 하지만 일부 전문가들은 이 방법이 상당한 윤리적, 학문적 우려를 불러일으킨다고 주장합니다.

최근 몇 년 동안 OpenAI, Google, Meta와 같은 주요 기업들은 사용자들이 차기 모델의 성능을 평가하도록 유도하는 플랫폼을 활용해왔습니다. 이러한 플랫폼에서 높은 점수를 받는 것은 연구소들이 모델의 발전을 증명하는 증거로 종종 강조됩니다. 그러나 이 접근 방식은 비판이 없는 것은 아닙니다.

크라우드소싱 벤치마킹에 대한 비판

워싱턴 대학교의 언어학 교수이자 "The AI Con"의 공동 저자인 Emily Bender는 특히 Chatbot Arena와 같은 벤치마크의 타당성에 대해 우려를 표명했습니다. 이 플랫폼은 자원봉사자들이 두 개의 익명 모델의 응답을 비교하고 선호하는 모델을 선택하는 방식으로 운영됩니다. Bender는 벤치마크가 효과적이려면 특정한 것을 측정하고, 측정된 결과가 평가 대상인 구성 요소를 정확히 반영하는 구성 타당성을 보여야 한다고 주장합니다. 그녀는 Chatbot Arena가 사용자 선호도가 특정 기준과 진정으로 상관관계가 있다는 증거를 제공하지 못한다고 비판합니다.

AI 기업 Lesan의 공동 창립자이자 Distributed AI Research Institute의 펠로우인 Asmelash Teka Hadgu는 이러한 벤치마크가 AI 연구소들에 의해 모델에 대한 과장된 주장을 하기 위해 악용되고 있다고 제안합니다. 그는 Meta의 Llama 4 Maverick 모델과 관련된 최근 사건을 예로 들며, Meta가 Chatbot Arena에서 좋은 성과를 내도록 미세 조정한 버전을 개발했지만, 덜 효과적인 버전을 출시했다고 밝혔습니다. Hadgu는 벤치마크가 동적이고, 여러 독립적인 기관에 분산되며, 교육 및 의료와 같은 분야의 전문가들이 사용하는 특정 사용 사례에 맞춰져야 한다고 주장합니다.

공정한 보상과 더 광범위한 평가 방법에 대한 요구

Hadgu와 Aspen Institute의 Emergent and Intelligent Technologies Initiative의 전 리더인 Kristine Gloria는 평가자들이 그들의 작업에 대해 보상을 받아야 하며, 이는 종종 착취적인 데이터 라벨링 산업과 유사하다고 주장합니다. Gloria는 크라우드소싱 벤치마킹을 시민 과학 이니셔티브와 유사하게 가치 있는 것으로 보지만, 특히 산업 혁신의 빠른 속도를 고려할 때 벤치마크가 평가의 유일한 기준이 되어서는 안 된다고 강조합니다.

크라우드소싱 레드 팀 캠페인을 수행하는 Gray Swan AI의 CEO인 Matt Fredrikson은 새로운 기술을 배우고 실습하려는 자원봉사자들에게 이러한 플랫폼의 매력을 인정합니다. 하지만 그는 공개 벤치마크가 유료로 진행되는 비공개 평가를 대체할 수 없다고 강조합니다. Fredrikson은 개발자들이 내부 벤치마크, 알고리즘 레드 팀, 그리고 보다 개방적이고 도메인별 통찰을 제공할 수 있는 계약 전문가에 의존해야 한다고 제안합니다.

벤치마킹에 대한 산업 관점

모델 마켓플레이스 OpenRouter의 CEO인 Alex Atallah와 UC Berkeley의 AI 박사 과정 학생이자 LMArena(Chatbot Arena를 관리하는)의 공동 창립자 중 한 명인 Wei-Lin Chiang은 공개 테스트와 벤치마킹만으로는 충분하지 않다는 데 동의합니다. Chiang은 LMArena의 목표가 다양한 AI 모델에 대한 커뮤니티 선호도를 측정할 수 있는 신뢰할 수 있는 공개 공간을 제공하는 것이라고 강조합니다.

Maverick 벤치마크를 둘러싼 논란에 대해 Chiang은 이러한 사건이 Chatbot Arena의 설계 결함 때문이 아니라 연구소들이 정책을 잘못 해석한 결과라고 명확히 합니다. LMArena는 이후 공정하고 재현 가능한 평가를 보장하기 위해 정책을 업데이트했습니다. Chiang은 플랫폼의 커뮤니티가 단순한 자원봉사자나 테스터 그룹이 아니라 AI 모델에 대한 집단적 피드백을 제공하는 참여 커뮤니티라고 강조합니다.

크라우드소싱 벤치마킹 플랫폼의 사용을 둘러싼 지속적인 논쟁은 AI 모델 평가에 보다 정교한 접근이 필요하다는 점을 강조하며, 정확성과 공정성을 보장하기 위해 공개 입력과 엄격한 전문 평가를 결합해야 한다는 점을 보여줍니다.