Heim
ByteDance Seed stellt den EdgeBench-Benchmark vor, um die Metriken zur Entwicklung von Agenten neu zu definieren
Angesichts der rasanten Fortschritte im Bereich der künstlichen Intelligenz ist die Messung, wie gut Agenten in realen Szenarien kontinuierlich lernen, sowohl für Forscher als auch für die Industrie zu einem zentralen Schwerpunkt geworden. Das ByteDance Seed-Team hat kürzlich „EdgeBench“ vorgestellt, einen Langzeit-Benchmark, der einen neuen quantitativen Standard für diesen Forschungsbereich bietet.
Die größte Stärke von EdgeBench liegt in der Fokussierung auf das Lernen in realen Umgebungen. Der Benchmark umfasst 134 Aufgaben aus sechs Bereichen, bei denen der Agent jeweils mindestens 12 Stunden lang ununterbrochen arbeiten muss. Dieses Design überwindet die Einschränkungen kurzfristiger Bewertungen, indem es realistischer simuliert, wie sich Agenten über längere Zeiträume in komplexen, dynamischen Umgebungen verhalten. Das Team sammelte rund 38.000 Stunden Interaktionsdaten, um dieses strenge Testframework zu erstellen.

Die Ergebnisse zeigen ein bemerkenswertes Muster: Die Lernleistung der Agenten in Bezug auf ihre Umgebung folgt weitgehend einer logarithmisch-sigmoiden Kurve und erreicht einen R²-Wert von 0,998. Dies deutet auf einen äußerst regelmäßigen Lernprozess hin. Darüber hinaus zeigen Daten aus dem Zeitraum von September 2025 bis Mai 2026, dass sich die Lerngeschwindigkeit modernster Modelle deutlich erhöht hat und sich alle drei Monate verdoppelte.
EdgeBench hat 51 Aufgaben sowie sein vollständiges Bewertungsframework für Entwickler als Open Source veröffentlicht. Obwohl es sich noch in der akademischen Erforschungsphase befindet, ist es der erste Benchmark, der langfristige Muster des Umgebungslernens quantitativ charakterisiert. Für KI-Forscher bieten diese Muster nicht nur eine konkrete Metrik zur Bewertung der Modellleistung, sondern auch Anhaltspunkte für die zukünftige Verbesserung der Umweltanpassungsfähigkeit und der Lerneffizienz von Agenten.
Verwandter Artikel
Ctrip Business Travel stellt ein KI-Ökosystem mit 7 Branchenagenten und 17 Kernfunktionen vor
Ctrip Business Travel hat offiziell das „Ctrip Business Travel AI Ecosystem“ vorgestellt, das mithilfe großer Sprachmodelle das Reisemanagement von Unternehmen grundlegend neu gestaltet. Dieses umfass
Stripe übernimmt OpenRouter – Routing auf Basis von KI-Modellen gewinnt an Dynamik
Stripe hat die Übernahme von OpenRouter vereinbart, einer Plattform für das Routing von KI-Modellen, die Entwicklern über eine einzige Schnittstelle Zugriff auf Hunderte von Modellen bietet. Durch die
Der ehemalige OpenAI-Forscher Barrett Zoph kehrt zu Google zurück, um die Entwicklung von Gemini voranzutreiben
Barret Zoph, der zuvor aufgrund von Meinungsverschiedenheiten mit Miriam Mularati, der Geschäftsführerin von Thinking Machines Lab, überraschend das Unternehmen verlassen und zu OpenAI gewechselt war,
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Angesichts der rasanten Fortschritte im Bereich der künstlichen Intelligenz ist die Messung, wie gut Agenten in realen Szenarien kontinuierlich lernen, sowohl für Forscher als auch für die Industrie zu einem zentralen Schwerpunkt geworden. Das ByteDance Seed-Team hat kürzlich „EdgeBench“ vorgestellt, einen Langzeit-Benchmark, der einen neuen quantitativen Standard für diesen Forschungsbereich bietet.
Die größte Stärke von EdgeBench liegt in der Fokussierung auf das Lernen in realen Umgebungen. Der Benchmark umfasst 134 Aufgaben aus sechs Bereichen, bei denen der Agent jeweils mindestens 12 Stunden lang ununterbrochen arbeiten muss. Dieses Design überwindet die Einschränkungen kurzfristiger Bewertungen, indem es realistischer simuliert, wie sich Agenten über längere Zeiträume in komplexen, dynamischen Umgebungen verhalten. Das Team sammelte rund 38.000 Stunden Interaktionsdaten, um dieses strenge Testframework zu erstellen.

Die Ergebnisse zeigen ein bemerkenswertes Muster: Die Lernleistung der Agenten in Bezug auf ihre Umgebung folgt weitgehend einer logarithmisch-sigmoiden Kurve und erreicht einen R²-Wert von 0,998. Dies deutet auf einen äußerst regelmäßigen Lernprozess hin. Darüber hinaus zeigen Daten aus dem Zeitraum von September 2025 bis Mai 2026, dass sich die Lerngeschwindigkeit modernster Modelle deutlich erhöht hat und sich alle drei Monate verdoppelte.
EdgeBench hat 51 Aufgaben sowie sein vollständiges Bewertungsframework für Entwickler als Open Source veröffentlicht. Obwohl es sich noch in der akademischen Erforschungsphase befindet, ist es der erste Benchmark, der langfristige Muster des Umgebungslernens quantitativ charakterisiert. Für KI-Forscher bieten diese Muster nicht nur eine konkrete Metrik zur Bewertung der Modellleistung, sondern auch Anhaltspunkte für die zukünftige Verbesserung der Umweltanpassungsfähigkeit und der Lerneffizienz von Agenten.
Ctrip Business Travel stellt ein KI-Ökosystem mit 7 Branchenagenten und 17 Kernfunktionen vor
Ctrip Business Travel hat offiziell das „Ctrip Business Travel AI Ecosystem“ vorgestellt, das mithilfe großer Sprachmodelle das Reisemanagement von Unternehmen grundlegend neu gestaltet. Dieses umfass
Stripe übernimmt OpenRouter – Routing auf Basis von KI-Modellen gewinnt an Dynamik
Stripe hat die Übernahme von OpenRouter vereinbart, einer Plattform für das Routing von KI-Modellen, die Entwicklern über eine einzige Schnittstelle Zugriff auf Hunderte von Modellen bietet. Durch die
Der ehemalige OpenAI-Forscher Barrett Zoph kehrt zu Google zurück, um die Entwicklung von Gemini voranzutreiben
Barret Zoph, der zuvor aufgrund von Meinungsverschiedenheiten mit Miriam Mularati, der Geschäftsführerin von Thinking Machines Lab, überraschend das Unternehmen verlassen und zu OpenAI gewechselt war,











