Studie zeigt: Die Leistungsfähigkeit von KI-Code wird in Praxistests überbewertet

Untersuchungen des METR-Instituts deuten darauf hin, dass der weit verbreitete Benchmark „SWE-bench Verified“ zur Bewertung der Programmierfähigkeiten von KI die Leistung von KI-Agenten in der realen Softwareentwicklung möglicherweise erheblich überbewertet. Die Studie ergab, dass etwa die Hälfte der von der KI generierten Code-Lösungen, die vom Benchmark als „bestanden“ eingestuft wurden, von den tatsächlichen Projektverantwortlichen bei der Code-Überprüfung wahrscheinlich abgelehnt würden, was eine erhebliche Diskrepanz zwischen automatisierten Bewertungsergebnissen und der tatsächlichen Code-Qualität verdeutlicht.

SWE-bench Verified gilt seit langem als wichtiger Standard zur Bewertung KI-gestützter Softwareentwicklung, um zu testen, ob Modelle echte Programmieraufgaben in Open-Source-Projekten lösen können, und um zu überprüfen, ob Codeänderungen die automatisierte Testsuite des Projekts bestehen. Mehrere KI-Unternehmen, darunter Anthropic und OpenAI, zitieren häufig Ergebnisse dieses Benchmarks, um Modellfortschritte zu demonstrieren.

In dieser Studie beauftragte das METR-Team vier erfahrene Entwickler, die die Open-Source-Projekte scikit-learn, Sphinx und pytest betreuen, mit der manuellen Überprüfung von 296 AI-generierten Code-Beispielen. Diese Code-Beispiele wurden von fünf verschiedenen Modellen erzeugt: Claude 3.5 Sonnet, Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet und GPT-5. Die Ergebnisse zeigten, dass die tatsächliche Akzeptanzrate durch die Betreuer im Durchschnitt etwa 24 Prozentpunkte niedriger war als die automatisierten Bewertungen von SWE-bench – ein statistisch signifikanter Unterschied.

Die Studie stellte zudem fest, dass der abgelehnte KI-Code nicht in erster Linie auf stilistische Probleme zurückzuführen war, sondern vielmehr auf wesentlich schwerwiegendere technische Mängel. Die Betreuer kategorisierten die Probleme in drei Haupttypen: Codequalität, die nicht den Projektspezifikationen entsprach, Störung der bestehenden Codestruktur und grundlegende Funktionsfehler. Ein erheblicher Teil der Fälle betraf Funktionsfehler, bei denen der Code trotz bestandener automatisierter Tests das beabsichtigte Problem nicht korrekt löste.

Was den Modellvergleich betrifft, so ergab die Untersuchung, dass ein Upgrade von Claude 3.5 Sonnet auf Claude 3.7 Sonnet die Benchmark-Erfolgsquote deutlich verbesserte, die Anzahl der von den Betreuern gemeldeten Funktionsfehler jedoch ebenfalls zunahm. Der Übergang von Claude 3.7 Sonnet zu Claude 4 Opus führte zu einer Zunahme von Problemen mit der Codequalität, während Claude 4.5 Sonnet Verbesserungen in der Codequalität zeigte. Im Gegensatz dazu schnitt GPT-5 bei dieser manuellen Bewertung insgesamt deutlich schlechter ab als die Anthropic-Modellreihe.

Das Forschungsteam führte zudem eine geschätzte Analyse der „Aufgabenbearbeitungszeit“ durch: Laut den automatisierten Bewertungsergebnissen von SWE-bench würde Claude 4.5 Sonnet bei einer Erfolgsquote von 50 % etwa 50 Minuten menschlicher Arbeitszeit benötigen, um Aufgaben zu erledigen. Basierend auf den Bewertungen der Betreuer sinkt die geschätzte Zeit jedoch auf nur etwa 8 Minuten, was darauf hindeutet, dass der Benchmark die Fähigkeiten um das bis zu Siebenfache überschätzt.

Die Forscher betonten jedoch auch, dass diese Studie keine grundlegende Begrenzung der Fähigkeiten von KI-Programmieragenten impliziert. Mit verbesserten Prompt-Strategien, mehr menschlichem Feedback oder mehreren Iterationszyklen könnte die Lücke zwischen automatisierter Bewertung und manueller Überprüfung verringert werden. Zudem unterscheidet sich der Versuchsaufbau von realen Entwicklungsprozessen – so hatten KI-Agenten beispielsweise nur einen Einreichungsversuch, während menschliche Entwickler den Code in der Regel iterativ auf der Grundlage von Feedback modifizieren können.

Zusammenfassend kommt die Studie zu dem Schluss, dass das ausschließliche Verlassen auf Benchmark-Ergebnisse zur Beurteilung des praktischen Nutzens von KI-Programmieragenten zu systematischen Verzerrungen führen kann. Da sich KI-Codierungsmodelle rasch weiterentwickeln, ist die Entwicklung von Bewertungssystemen, die reale Entwicklungsumgebungen besser widerspiegeln, zu einer entscheidenden Forschungsrichtung im Bereich der KI-Softwareentwicklung geworden.