Experten heben schwerwiegende Mängel in Crowdsourced AI -Benchmarks auf

KI-Labore nutzen zunehmend Plattformen für crowdsourced Benchmarking wie Chatbot Arena, um die Fähigkeiten ihrer neuesten Modelle zu bewerten. Einige Experten argumentieren jedoch, dass diese Methode erhebliche ethische und akademische Bedenken aufwirft.

In den letzten Jahren haben große Akteure wie OpenAI, Google und Meta Plattformen genutzt, die Nutzer einbinden, um die Leistung ihrer kommenden Modelle zu bewerten. Ein hoher Score auf diesen Plattformen wird von den Laboren oft als Beweis für den Fortschritt ihres Modells hervorgehoben. Dieser Ansatz ist jedoch nicht ohne Kritiker.

Die Kritik am Crowdsourced Benchmarking

Emily Bender, Linguistikprofessorin an der University of Washington und Mitautorin von "The AI Con", äußert Bedenken hinsichtlich der Validität solcher Benchmarks, insbesondere Chatbot Arena. Diese Plattform lässt Freiwillige Antworten von zwei anonymen Modellen vergleichen und ihr bevorzugtes auswählen. Bender argumentiert, dass ein Benchmark effektiv sein muss, um etwas Spezifisches zu messen und Konstruktvalidität zu zeigen, was bedeutet, dass die Messung das zu bewertende Konstrukt genau widerspiegeln sollte. Sie stellt fest, dass Chatbot Arena keine Beweise dafür liefert, dass Nutzerpräferenzen für eine Antwort gegenüber einer anderen tatsächlich mit definierten Kriterien korrelieren.

Asmelash Teka Hadgu, Mitbegründer der KI-Firma Lesan und Fellow am Distributed AI Research Institute, legt nahe, dass diese Benchmarks von KI-Laboren ausgenutzt werden, um übertriebene Behauptungen über ihre Modelle aufzustellen. Er verwies auf einen kürzlichen Vorfall mit Metas Llama 4 Maverick-Modell, bei dem Meta eine Version optimierte, um auf Chatbot Arena gut abzuschneiden, aber stattdessen eine weniger effektive Version veröffentlichte. Hadgu plädiert für dynamische Benchmarks, die über mehrere unabhängige Einheiten verteilt und auf spezifische Anwendungsfälle in Bereichen wie Bildung und Gesundheitswesen zugeschnitten sind, von Fachleuten, die diese Modelle in ihrer Arbeit nutzen.

Der Ruf nach fairer Vergütung und breiteren Evaluationsmethoden

Hadgu und Kristine Gloria, ehemalige Leiterin der Emergent and Intelligent Technologies Initiative des Aspen Institute, argumentieren, dass Evaluatoren für ihre Arbeit bezahlt werden sollten, in Anlehnung an die oft ausbeuterische Datenkennzeichnungsindustrie. Gloria sieht crowdsourced Benchmarking als wertvoll, ähnlich wie Bürgerwissenschaftsinitiativen, betont jedoch, dass Benchmarks nicht das einzige Bewertungskriterium sein sollten, insbesondere angesichts des schnellen Tempos der Brancheninnovation.

Matt Fredrikson, CEO von Gray Swan AI, das crowdsourced Red-Teaming-Kampagnen durchführt, erkennt den Reiz solcher Plattformen für Freiwillige an, die neue Fähigkeiten lernen und üben möchten. Er betont jedoch, dass öffentliche Benchmarks die tiefergehenden Bewertungen durch bezahlte, private Assessments nicht ersetzen können. Fredrikson schlägt vor, dass Entwickler auch auf interne Benchmarks, algorithmische Red Teams und beauftragte Experten setzen sollten, die offenere und domänenspezifische Einblicke bieten können.

Branchenperspektiven zum Benchmarking

Alex Atallah, CEO des Modellmarktplatzes OpenRouter, und Wei-Lin Chiang, KI-Doktorand an der UC Berkeley und einer der Gründer von LMArena (das Chatbot Arena verwaltet), stimmen zu, dass offenes Testen und Benchmarking allein nicht ausreichen. Chiang betont, dass das Ziel von LMArena darin besteht, einen vertrauenswürdigen, offenen Raum zu bieten, um die Präferenzen der Gemeinschaft für verschiedene KI-Modelle zu ermitteln.

In Bezug auf die Kontroverse um den Maverick-Benchmark stellt Chiang klar, dass solche Vorfälle nicht auf Designfehler von Chatbot Arena zurückzuführen sind, sondern auf Fehlinterpretationen seiner Richtlinien durch Labore. LMArena hat seine Richtlinien seitdem aktualisiert, um faire und reproduzierbare Bewertungen sicherzustellen. Chiang unterstreicht, dass die Community der Plattform nicht nur eine Gruppe von Freiwilligen oder Testern ist, sondern eine engagierte Gruppe, die kollektives Feedback zu KI-Modellen liefert.

Die anhaltende Debatte über die Nutzung von crowdsourced Benchmarking-Plattformen unterstreicht die Notwendigkeit eines nuancierteren Ansatzes für die Bewertung von KI-Modellen, der öffentliche Beiträge mit strengen, professionellen Bewertungen kombiniert, um sowohl Genauigkeit als auch Fairness zu gewährleisten.