専門家は、クラウドソーシングされたAIベンチマークの深刻な欠陥を強調しています

AIラボは、最新モデルの能力を評価するために、Chatbot Arenaのようなクラウドソーシングによるベンチマークプラットフォームにますます注目しています。しかし、一部の専門家は、この方法が重大な倫理的および学術的な懸念を引き起こすと主張しています。

近年、OpenAI、Google、Metaなどの主要企業は、ユーザーを巻き込んで次期モデルのパフォーマンスを評価するプラットフォームを活用してきました。これらのプラットフォームでの高スコアは、ラボがモデルの進歩の証として強調することがよくあります。しかし、このアプローチには批判もあります。

クラウドソーシングベンチマークの批判

ワシントン大学の言語学教授であり、「The AI Con」の共著者であるエミリー・ベンダー氏は、特にChatbot Arenaのようなベンチマークの妥当性について懸念を表明しています。このプラットフォームでは、ボランティアが2つの匿名モデルの応答を比較し、好みのものを選択します。ベンダー氏は、ベンチマークが有効であるためには、特定のものを測定し、構成妥当性（測定が評価対象の構成を正確に反映すること）を示す必要があると主張します。彼女は、Chatbot Arenaには、ユーザーが一方の出力結果を他方よりも好むことが、定義された基準と本当に関連しているという証拠が欠けていると述べています。

AI企業Lesanの共同創業者であり、Distributed AI Research Instituteのフェローであるアスメラシュ・テカ・ハドゥ氏は、これらのベンチマークがAIラボによってモデルの誇張された主張のために悪用されていると示唆しています。彼は、MetaのLlama 4 Maverickモデルに関する最近の事例を挙げ、MetaがChatbot Arenaで良好なパフォーマンスを発揮するように微調整したバージョンを作成したが、代わりに効果の低いバージョンをリリースしたと指摘しました。ハドゥ氏は、ベンチマークは動的で、複数の独立した組織に分散され、教育や医療などの分野でモデルを使用する専門家によって特定のユースケースに合わせて調整されるべきだと主張しています。

公正な報酬とより広範な評価方法の必要性

ハドゥ氏と、Aspen InstituteのEmergent and Intelligent Technologies Initiativeの元リーダーであるクリスティン・グロリア氏は、評価者はその労働に対して報酬を受けるべきだと主張し、しばしば搾取的なデータラベリング業界と比較しています。グロリア氏は、クラウドソーシングによるベンチマークを市民科学イニシアチブに似た価値あるものと見なしていますが、特に業界の急速な革新のペースを考慮すると、ベンチマークが評価の唯一の基準であってはならないと強調しています。

クラウドソーシングによるレッドチームキャンペーンを実施するGray Swan AIのCEO、マット・フレドリクソン氏は、新しいスキルを学び、練習したいボランティアにとってそのようなプラットフォームの魅力があることを認めています。しかし、彼は公開ベンチマークが、有料のプライベート評価によるより詳細な評価を置き換えることはできないと強調します。フレドリクソン氏は、開発者は内部ベンチマーク、アルゴリズムによるレッドチーム、そしてよりオープンエンドでドメイン固有の洞察を提供できる契約専門家にも依存すべきだと提案しています。

ベンチマークに関する業界の視点

モデルマーケットプレイスOpenRouterのCEO、アレックス・アタラ氏と、Chatbot Arenaを管理するLMArenaの創設者の一人でカリフォルニア大学バークレー校のAI博士課程学生であるウェイリン・チアン氏は、オープンテストとベンチマークだけでは不十分であることに同意しています。チアン氏は、LMArenaの目標は、さまざまなAIモデルに関するコミュニティの好みを測定する信頼できるオープンな場を提供することだと強調しています。

Maverickベンチマークをめぐる論争について、チアン氏は、そのような事件はChatbot Arenaの設計上の欠陥によるものではなく、ラボによるポリシーの誤解によるものだと明確にしています。LMArenaは以来、公正で再現可能な評価を確保するためにポリシーを更新しました。チアン氏は、プラットフォームのコミュニティは単なるボランティアやテスターの集まりではなく、AIモデルに対する集団的なフィードバックを提供する積極的なグループだと強調しています。

クラウドソーシングベンチマークプラットフォームの使用をめぐる議論は、公開の意見と厳格な専門的評価を組み合わせた、よりニュアンスのあるAIモデル評価のアプローチが必要であることを浮き彫りにしています。これにより、正確さと公平性の両方が確保されます。