Gaia führt einen neuen Benchmark in der Suche nach wahrer Intelligenz jenseits von Arc-Agi ein

Intelligenz ist überall, aber das Messen Sie es genau so, als würde man versuchen, eine Wolke mit bloßen Händen zu fangen. Wir verwenden Tests und Benchmarks wie College -Aufnahmeprüfungen, um eine grobe Idee zu bekommen. Jedes Jahr drehen die Schüler für diese Tests und erzielen manchmal sogar eine perfekte 100%. Aber bedeutet diese perfekte Punktzahl, dass sie alle die gleiche Intelligenz besitzen oder den Höhepunkt ihres geistigen Potenzials erreicht haben? Natürlich nicht. Diese Benchmarks sind nur grobe Schätzungen, nicht genaue Indikatoren für die wahren Fähigkeiten eines Menschen.

In der Welt der generativen KI waren Benchmarks wie MMLU (massives Multitasking-Sprachverständnis) die Anlaufstelle für die Beurteilung von Modellen durch Multiple-Choice-Fragen in verschiedenen akademischen Bereichen. Während sie einfache Vergleiche ermöglichen, erfassen sie nicht wirklich das gesamte Spektrum intelligenter Funktionen.

Nehmen Sie beispielsweise Claude 3.5 Sonett und GPT-4,5. Sie könnten ähnlich auf MMLU punkten, was darauf hindeutet, dass sie auf dem Parlament sind. Aber jeder, der diese Modelle tatsächlich verwendet hat, weiß, dass seine reale Leistung ganz anders sein kann.

Was bedeutet es, "Intelligenz" in AI zu messen?

Mit der jüngsten Einführung des ARC-Agi-Benchmarks, mit dem Modelle auf allgemeinem Denken und kreativer Problemlösung getestet werden sollen, wurde eine neue Diskussionswelle darüber gegeben, was es bedeutet, "Intelligenz" in AI zu messen. Noch nicht jeder hatte die Chance, in ARC-Agi einzutauchen, aber die Branche summt über diese und andere neue Ansätze zum Testen. Jeder Benchmark hat seinen Platz und Arc-Agi ist ein Schritt in die richtige Richtung.

Eine weitere aufregende Entwicklung ist die letzte Prüfung der Menschheit, ein umfassender Benchmark mit 3.000 von Experten begutachteten, mehrstufigen Fragen, die verschiedene Disziplinen umfassen. Es ist eine ehrgeizige Anstrengung, KI-Systeme auf Expertenebene zu bringen. Frühe Ergebnisse zeigen einen schnellen Fortschritt, und OpenAI erzielte Berichten zufolge nur einen Monat nach seiner Veröffentlichung eine Punktzahl von 26,6%. Aber wie andere Benchmarks konzentriert es sich hauptsächlich auf Wissen und Argumentation in einem Vakuum, nicht auf die praktischen Fähigkeiten, die für KI-Anwendungen realer Welt von entscheidender Bedeutung sind.

Nehmen wir zum Beispiel, wie einige Top -Modelle mit einfachen Aufgaben wie dem Zählen der "R" S in "Strawberry" oder dem Vergleich von 3.8 bis 3.1111 zu kämpfen haben. Diese Fehler, die sogar ein Kind oder ein grundlegender Taschenrechner vermeiden könnten, unterstreichen die Lücke zwischen Benchmark-Erfolg und realer Zuverlässigkeit. Es ist eine Erinnerung daran, dass Intelligenz nicht nur um Acing -Tests geht. Es geht darum, die allgemeine Logik mit Leichtigkeit zu navigieren.

Der neue Standard für die Messung der KI -Fähigkeit

Während sich die KI -Modelle entwickelt haben, sind die Grenzen traditioneller Benchmarks offensichtlicher geworden. Zum Beispiel beträgt GPT-4 trotz seiner hohen Punktzahlen bei Multiple-Choice-Tests, wenn sie mit Tools mit Werkzeugen ausgestattet sind, nur etwa 15% für die komplexeren realen Aufgaben in der Gaia-Benchmark.

Diese Diskrepanz zwischen der Benchmark -Leistung und der praktischen Fähigkeit wird zunehmend problematisch, da die KI -Systeme von Forschungslabors zu Geschäftsanwendungen wechseln. Traditionelle Benchmarks testen, wie gut ein Modell Informationen erinnern kann, übersehen jedoch häufig wichtige Aspekte der Intelligenz, z.

Geben Sie Gaia ein, einen neuen Benchmark, der eine signifikante Verschiebung der AI -Bewertung markiert. GAIA wurde durch eine Zusammenarbeit zwischen Teams aus Meta-Fair, Meta-Genai, Huggingface und Autogpt entwickelt und umfasst 466 sorgfältig gefertigte Fragen über drei Schwierigkeitsgrade. Diese Fragen testen eine breite Palette von Fähigkeiten, die für AI-Anwendungen in realer Welt wesentlich sind, einschließlich Webbrowsing, multimodales Verständnis, Codeausführung, Dateibehandlung und komplexes Denken.

Level 1 -Fragen erfordern normalerweise 5 Schritte und ein Werkzeug, mit dem Menschen gelöst werden können. Level 2 -Fragen benötigen 5 bis 10 Schritte und mehrere Tools, während die Fragen der Stufe 3 bis zu 50 Schritte und einer beliebigen Anzahl von Tools erfordern. Diese Struktur spiegelt die Komplexität der tatsächlichen Geschäftsprobleme wider, bei denen Lösungen häufig mehrere Aktionen und Tools beinhalten.

Durch die Konzentration auf Flexibilität und nicht nur auf Komplexität erreichte ein KI-Modell eine Genauigkeitsrate von 75%für Gaia, die Outperformance der Branchenführer wie Microsofts Magnetic-1 (38%) und den Langfun-Agenten von Google (49%). Dieser Erfolg ergibt sich aus der Verwendung einer Mischung spezialisierter Modelle für audiovisuelles Verständnis und Argumentation, wobei das Sonnet 3.5 von Anthropic als Hauptmodell.

Diese Verschiebung der AI -Bewertung spiegelt einen breiteren Trend in der Branche wider: Wir bewegen uns von eigenständigen SaaS -Anwendungen in Richtung KI -Agenten, die mehrere Tools und Workflows verwalten können. Da Unternehmen zunehmend von KI abhängen, um komplexe, mehrstufige Aufgaben zu bekämpfen, bieten Benchmarks wie Gaia ein relevanteres Maß für die Fähigkeit als herkömmliche Multiple-Choice-Tests.

In der Zukunft der AI -Bewertung geht es nicht um isolierte Wissenstests. Es geht um umfassende Bewertungen der Fähigkeit zur Problemlösung. Gaia setzt einen neuen Benchmark für die Messung der KI-Fähigkeiten-eine, die besser mit den realen Herausforderungen und Möglichkeiten des KI-Einsatzes übereinstimmt.

Sri Ambati ist der Gründer und CEO von H2O.ai.