Der neue AGI -Test erweist sich als herausfordernd, die Mehrheit der KI -Modelle der Stümpfe

# agi

Die ARC Prize Foundation, die von dem renommierten AI-Forscher François Chollet mitbegründet wurde, hat kürzlich einen neuen Benchmark namens ARC-Agi-2 in einem Blog-Beitrag vorgestellt. Dieser Test zielt darauf ab, die Grenzen der allgemeinen Intelligenz von AI zu überschreiten, und es erweist sich bisher als harte Nuss, um für die meisten KI -Modelle zu knacken.

Laut der ARC-Prize-Rangliste führen sogar fortgeschrittene "Argumentation" -Mi-Modelle wie O1-Pro und Deepseeks R1 nur die Ergebnisse zwischen 1% und 1,3%. In der Zwischenzeit schweben leistungsstarke Nicht-Begrenzungsmodelle wie GPT-4,5, Claude 3.7 Sonett und Gemini 2.0 Flash um die 1% -Marke.

ARC-Agi-Tests fordern KI-Systeme mit puzzleähnlichen Problemen in Frage, wobei sie visuelle Muster in Grids unterschiedlicher Felder identifizieren und das richtige "Antwort" -Raster erzeugen. Diese Probleme sollen die Fähigkeit einer KI testen, sich an neue, unsichtbare Herausforderungen anzupassen.

Um eine menschliche Grundlinie zu errichten, ließ die ARC-Preisstiftung über 400 Menschen den ARC-Agi-2-Test durchführen. Im Durchschnitt erreichten diese "Panels" des Menschen eine Erfolgsrate von 60% und übertrafen die KI -Modelle signifikant.

François Chollet nahm X an, um zu behaupten, dass ARC-Agi-2 ein genaueres Maß für die wahre Intelligenz eines KI-Modells im Vergleich zu seinem Vorgänger ARC-AGI-1 ist. Die Tests der Arc Prize Foundation sollen beurteilen, ob eine KI über ihre Schulungsdaten hinaus neue Fähigkeiten erlernen kann.

Chollet betonte, dass ARC-Agi-2 verhindert, dass KI-Modelle sich auf die Rechenleistung von "Brute Force" verlassen, um Probleme zu lösen, ein Fehler, den er im ersten Test anerkannte. Um dies anzugehen, führt ARC-Agi-2 eine Effizienzmetrik ein und erfordert Modelle, um Muster im laufenden Fliegen zu interpretieren, anstatt sich auf das Auswendiglernen zu verlassen.

In einem Blog-Beitrag betonte der Mitbegründer der Arc Prize Foundation Greg Kamradt, dass Intelligenz nicht nur darum geht, Probleme zu lösen oder hohe Punktzahlen zu erzielen. "Die Effizienz, mit der diese Fähigkeiten erworben und eingesetzt werden, ist eine entscheidende, definierende Komponente", schrieb er. "Die Kernfrage, die gestellt wird, lautet nicht nur:" Kann KI die Fähigkeit erwerben, eine Aufgabe zu lösen? " Aber auch 'zu welcher Effizienz oder der Kosten?' "

ARC-Agi-1 blieb bis Dezember 2024 ungefähr fünf Jahre ungeschlagen, als Openais fortgeschrittenes Argumentationsmodell O3 alle anderen KI-Modelle übertraf und die menschliche Leistung entsprach. Der Erfolg von O3 bei ARC-Agi-1 war jedoch erhebliche Kosten. Die Version des O3-Modells von OpenAI, O3 (niedrig), das bei ARC-AGI-1 beeindruckend 75,7% erzielte, verwaltete nur 4% für ARC-AGI-2 mit Rechenleistung pro Aufgabe im Wert von 200 USD.

Die Einführung von ARC-Agi-2 erfolgt zu einer Zeit, in der viele in der Tech-Branche neue, ungesättigte Benchmarks fordern, um die KI-Fortschritte zu messen. Thomas Wolf, Mitbegründer von Hugging Face, sagte kürzlich mit TechCrunch, dass der KI-Industrie ausreichende Tests fehlen, um die wichtigsten Merkmale der künstlichen allgemeinen Intelligenz wie Kreativität zu messen.

Neben dem neuen Benchmark kündigte die ARC-Prize-Stiftung den ARC-Preis 2025-Wettbewerb an und forderte Entwickler auf, eine Genauigkeit von 85% für den ARC-Agi-2-Test zu erreichen und gleichzeitig nur 0,42 USD pro Aufgabe auszugeben.

Verwandter Artikel

Kommentare (35)