Heim
OpenAI kritisiert KI-Benchmark scharf: Fast ein Drittel der Fragen ist fehlerhaft, die Erfolgsquote stieg innerhalb von acht Monaten auf 80 %
OpenAI hat in einem Blogbeitrag den branchenweit führenden Benchmark „SWE-Bench Pro“ öffentlich in Frage gestellt und behauptet, dass etwa 30 % der 731 öffentlich zugänglichen Testaufgaben Bewertungsfehler enthalten. SWE-Bench Pro wurde von Scale AI entwickelt und dient dazu, die Programmierfähigkeiten großer Sprachmodelle und KI-Agenten zu bewerten. Da es die reale Unternehmensentwicklung genau widerspiegelt und strenge Maßnahmen gegen Betrug durchsetzt, hat es sich zu einem weithin anerkannten Benchmark im Bereich der KI-Softwareentwicklung entwickelt.
OpenAI hebt in dem Blogbeitrag ein entscheidendes Signal hervor: Die Erfolgsquote der Spitzenmodelle bei diesem Benchmark stieg innerhalb von nur acht Monaten von 23,3 % auf 80,3 %. Ein derart rascher Fortschritt erscheint verdächtig, und OpenAI argumentiert, dass der Benchmark die tatsächlichen Softwareentwicklungsfähigkeiten eines Modells in der Praxis nicht mehr genau messen kann. Das Problem ist wahrscheinlich auf Mängel in der Bewertung selbst zurückzuführen und nicht auf einen echten Sprung in der Leistungsfähigkeit der Modelle.
Zwei gegenseitig validierte Überprüfungsverfahren zeigen, dass fast 30 % der Aufgaben als „unqualifiziert“ eingestuft werden.
Um dies zu überprüfen, leitete OpenAI zwei parallele Überprüfungsprozesse ein. Die Datenpunktanalyse deckte 200 fehlgeschlagene Aufgaben auf, was 27,4 % der 731 öffentlichen Aufgaben entspricht. Die manuelle Annotation identifizierte hingegen 249 fehlgeschlagene Aufgaben, also 34,1 %. Durch den Abgleich beider Methoden schätzt OpenAI, dass etwa 30 % der SWE-Bench-Pro-Aufgaben Fehler enthalten, die sich in vier Kategorien einteilen lassen: zu strenge Tests, unzureichende Eingabeaufforderungen, zu enge Testabdeckung und irreführende Eingabeaufforderungen.
OpenAI führte zudem ein typisches Beispiel an: Eine Aufgabe verlangte bei der Konvertierung von Inhalten in Markdown ein einzelnes Leerzeichen am Zeilenanfang, doch der versteckte Test erwartete zwei Leerzeichen. Infolgedessen würde das Modell selbst dann als falsch gewertet werden, wenn es die angegebene Anforderung erfüllte. Diese Diskrepanz zwischen expliziten Anweisungen und versteckten Anforderungen verzerrt direkt die Bewertung der tatsächlichen Leistungsfähigkeit eines Modells und erklärt den unangemessenen Anstieg der Bestehensquoten.
Rücknahme der Anwendungsempfehlung und Forderung nach einer Neugestaltung des KI-Bewertungssystems
Aufgrund dieser Analyse hat OpenAI seine frühere Empfehlung zur Nutzung von SWE-Bench Pro offiziell zurückgezogen. Das Unternehmen ist der Ansicht, dass zukünftige Benchmarks von erfahrenen Softwareentwicklern speziell für die KI-Bewertung erstellt werden sollten, anstatt Testlogik, die für menschliche Entwickler konzipiert wurde, umzufunktionieren. Wenn ein Branchen-Benchmark bei fast 30 % seiner Aufgaben Mängel aufweist, wird die Glaubwürdigkeit des gesamten KI-Bewertungssystems in Frage gestellt. Die Verlagerung des Fokus von Wettbewerben, bei denen es um das Erreichen hoher Punktzahlen geht, hin zu einer echten Bewertung der technischen Fähigkeiten könnte der nächste entscheidende Schritt bei der Bewertung von KI-Software sein.
Verwandter Artikel
Flock-Chef behauptet, Mikrofone würden nur Schüsse erkennen, obwohl die Website anderes verspricht
Der CEO von Flock, Garrett Langley, erklärte, dass die Schussdetektionsmikrofone des Unternehmens „nur Schüsse“ erfassen, auf der Website von Flock wird jedoch ein deutlich breiteres Spektrum des aufgenommenen Umgebungsgeräuschs dargestellt.Während s
Alibaba stellt Qwen3.5-Omni vor und liefert erstklassige multimodale Leistung
Chinas führende KI-Modelle entwickeln sich rasant von Nachahmern zu Pionieren in der multimodalen Interaktion.Am 30. März stellte Alibaba das multimodale Großmodell der nächsten Generation, Qwen3.5-Omni, vor. Unter Nutzung einer hybriden Aufmerksamke
Zhou Shen enthüllt „Moon Chronicle“ und verbietet ausdrücklich das Training von KI und die Stimmklone
Am 1. April veröffentlichte der renommierte chinesische Künstler Zhou Shen „Yue Zhi Ji“, das Titellied der historischen Fantasy-Serie „Yue Lin Qi Ji“. Er integrierte eine klare Urheberrechtshinweis in das Vorspiel und die Texte des Tracks und untersa
Empfehlungen zu verwandten Spezialthemen
Design & Kunst
Die besten KI-Illustrationstools: Redaktionelle Szenen und Cover-Grafiken schneller erstellen
Die besten und am besten bewerteten KI-Illustrationstools 2026: Unsere sorgfältig zusammengestellte Liste enthält die leistungsstärksten Tools, mit denen Sie im Handumdrehen atemberaubende redaktionelle Szenen und auffällige Cover-Grafiken erstellen können. Jede Option wurde strengen Praxistests unterzogen und wird im Vergleich zwischen kostenlosen und kostenpflichtigen Versionen vorgestellt, damit Sie die perfekte Lösung für Ihren Arbeitsablauf finden können. Probieren Sie diese unverzichtbaren Lösungen noch heute aus, um Ihren KI-Vorteil zu nutzen und Ihre kreative Produktivität zu steigern. Entdecken Sie sie jetzt auf XIX.AI.
10 Tools
xix.ai
Bildung und Lernen
Die besten KI-Nachhilfelehrer für die Prüfungsvorbereitung: Üben Sie Mathematik, Naturwissenschaften und Englisch
Die besten und am besten bewerteten KI-Nachhilfetools für die Prüfungsvorbereitung des Jahres 2026 finden Sie hier auf XIX.AI! Unsere sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Tools, die einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, Tests aus der Praxis sowie wöchentlich aktualisierte Rankings bieten. Sie helfen Ihnen dabei, Ihre Schreibeffizienz zu steigern, das Erlernen komplexer Themen zu vereinfachen und Ihr akademisches Potenzial voll auszuschöpfen. Entdecken Sie jetzt Ihr perfektes Tool zur Prüfungsvorbereitung und legen Sie noch heute los, um Ihren KI-Vorteil zu nutzen!
10 Tools
xix.ai
Finanzen
KI-Budgetplanungstools für das persönliche Geldmanagement
2026 Neueste Besten Top-Bewertete KI-Budgetplanungs-Tools für persönliches Geldmanagement sind hier auf XIX.AI! Diese kuratierte Sammlung bietet leistungsstarke, revolutionäre Lösungen, die Ihnen helfen, reale Tests durchzuführen, Ausgaben Gewohnheiten zu verstehen und personalisierte Pläne zu erstellen, um die Produktivität zu steigern. Genießen Sie einen kostenlosen vs. bezahlten Vergleich sowie detaillierte Rankings. Unbedingt auszuprobierende Tools, die darauf ausgelegt sind, das Geldmanagement zu vereinfachen und Ihre KI-Vorteile freizuschalten. Entdecken Sie jetzt!
11 Tools
xix.ai
Gesundheit Wellness
KI-gestützte Schlafüberwachungsassistenten: Verbessern Sie Ihre Erholung durch bessere Gewohnheiten vor dem Schlafengehen
2026 – Die neuesten, besten und am höchsten bewerteten AI-Geräte zur Schlafüberwachung, sorgfältig ausgewählt für eine optimale Erholung. Dieser vollständig aktualisierte wöchentliche Leitfaden präsentiert leistungsstarke Tools mit praktischen Tests, einem Vergleich von kostenlosen und kostenpflichtigen Optionen sowie detaillierten Ranglisten, um Ihnen die beste Lösung zu zeigen, die die Schlafqualität verbessert und bessere Gewohnheiten zum Zubettgehen fördert. Entdecken Sie ihn jetzt auf XIX.AI, um Ihren Vorteil durch KI zu nutzen.
10 Tools
xix.ai
Datenanalyse
KI-gestützte SQL-Copilots für Produkt- und Umsatzanalysen
Die besten und am besten bewerteten KI-SQL-Copilots für Produkt- und Umsatzanalysen im Jahr 2026! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die anhand wöchentlich aktualisierter Rankings in der Praxis getestet werden. Diese Tools helfen Anwendern dabei, ihre Produktivität erheblich zu steigern, indem sie die Datenanalyse beschleunigen, komplexe Abfragen optimieren und präzise Erkenntnisse liefern, um intelligentere Geschäftsentscheidungen zu ermöglichen. Entdecken Sie jetzt das perfekte Tool, um Ihren KI-Vorteil voll auszuschöpfen!
14 Tools
xix.ai
Bildung und Lernen
Die besten KI-Hausaufgabenhelfer, die wirklich etwas vermitteln: Lerne Konzepte, nicht nur Antworten
2026: Die aktuell besten und am besten bewerteten KI-Hausaufgabenhelfer, die nicht nur Antworten liefern, sondern auch Kernkonzepte vermitteln – leistungsstarke Tools für Schüler und Studenten. Eine kuratierte Liste, die Sie unbedingt ausprobieren sollten. Wöchentlich aktualisiert. Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten. Praxistests. Genaue Rankings, die Ihnen helfen, Ihr volles Lernpotenzial auszuschöpfen. Entdecken Sie jetzt das perfekte Tool für intelligenteres Lernen.
10 Tools
xix.ai
Kommentare (0)
OpenAI hat in einem Blogbeitrag den branchenweit führenden Benchmark „SWE-Bench Pro“ öffentlich in Frage gestellt und behauptet, dass etwa 30 % der 731 öffentlich zugänglichen Testaufgaben Bewertungsfehler enthalten. SWE-Bench Pro wurde von Scale AI entwickelt und dient dazu, die Programmierfähigkeiten großer Sprachmodelle und KI-Agenten zu bewerten. Da es die reale Unternehmensentwicklung genau widerspiegelt und strenge Maßnahmen gegen Betrug durchsetzt, hat es sich zu einem weithin anerkannten Benchmark im Bereich der KI-Softwareentwicklung entwickelt.
OpenAI hebt in dem Blogbeitrag ein entscheidendes Signal hervor: Die Erfolgsquote der Spitzenmodelle bei diesem Benchmark stieg innerhalb von nur acht Monaten von 23,3 % auf 80,3 %. Ein derart rascher Fortschritt erscheint verdächtig, und OpenAI argumentiert, dass der Benchmark die tatsächlichen Softwareentwicklungsfähigkeiten eines Modells in der Praxis nicht mehr genau messen kann. Das Problem ist wahrscheinlich auf Mängel in der Bewertung selbst zurückzuführen und nicht auf einen echten Sprung in der Leistungsfähigkeit der Modelle.
Zwei gegenseitig validierte Überprüfungsverfahren zeigen, dass fast 30 % der Aufgaben als „unqualifiziert“ eingestuft werden.
Um dies zu überprüfen, leitete OpenAI zwei parallele Überprüfungsprozesse ein. Die Datenpunktanalyse deckte 200 fehlgeschlagene Aufgaben auf, was 27,4 % der 731 öffentlichen Aufgaben entspricht. Die manuelle Annotation identifizierte hingegen 249 fehlgeschlagene Aufgaben, also 34,1 %. Durch den Abgleich beider Methoden schätzt OpenAI, dass etwa 30 % der SWE-Bench-Pro-Aufgaben Fehler enthalten, die sich in vier Kategorien einteilen lassen: zu strenge Tests, unzureichende Eingabeaufforderungen, zu enge Testabdeckung und irreführende Eingabeaufforderungen.
OpenAI führte zudem ein typisches Beispiel an: Eine Aufgabe verlangte bei der Konvertierung von Inhalten in Markdown ein einzelnes Leerzeichen am Zeilenanfang, doch der versteckte Test erwartete zwei Leerzeichen. Infolgedessen würde das Modell selbst dann als falsch gewertet werden, wenn es die angegebene Anforderung erfüllte. Diese Diskrepanz zwischen expliziten Anweisungen und versteckten Anforderungen verzerrt direkt die Bewertung der tatsächlichen Leistungsfähigkeit eines Modells und erklärt den unangemessenen Anstieg der Bestehensquoten.
Rücknahme der Anwendungsempfehlung und Forderung nach einer Neugestaltung des KI-Bewertungssystems
Aufgrund dieser Analyse hat OpenAI seine frühere Empfehlung zur Nutzung von SWE-Bench Pro offiziell zurückgezogen. Das Unternehmen ist der Ansicht, dass zukünftige Benchmarks von erfahrenen Softwareentwicklern speziell für die KI-Bewertung erstellt werden sollten, anstatt Testlogik, die für menschliche Entwickler konzipiert wurde, umzufunktionieren. Wenn ein Branchen-Benchmark bei fast 30 % seiner Aufgaben Mängel aufweist, wird die Glaubwürdigkeit des gesamten KI-Bewertungssystems in Frage gestellt. Die Verlagerung des Fokus von Wettbewerben, bei denen es um das Erreichen hoher Punktzahlen geht, hin zu einer echten Bewertung der technischen Fähigkeiten könnte der nächste entscheidende Schritt bei der Bewertung von KI-Software sein.
Flock-Chef behauptet, Mikrofone würden nur Schüsse erkennen, obwohl die Website anderes verspricht
Der CEO von Flock, Garrett Langley, erklärte, dass die Schussdetektionsmikrofone des Unternehmens „nur Schüsse“ erfassen, auf der Website von Flock wird jedoch ein deutlich breiteres Spektrum des aufgenommenen Umgebungsgeräuschs dargestellt.Während s
Alibaba stellt Qwen3.5-Omni vor und liefert erstklassige multimodale Leistung
Chinas führende KI-Modelle entwickeln sich rasant von Nachahmern zu Pionieren in der multimodalen Interaktion.Am 30. März stellte Alibaba das multimodale Großmodell der nächsten Generation, Qwen3.5-Omni, vor. Unter Nutzung einer hybriden Aufmerksamke
Zhou Shen enthüllt „Moon Chronicle“ und verbietet ausdrücklich das Training von KI und die Stimmklone
Am 1. April veröffentlichte der renommierte chinesische Künstler Zhou Shen „Yue Zhi Ji“, das Titellied der historischen Fantasy-Serie „Yue Lin Qi Ji“. Er integrierte eine klare Urheberrechtshinweis in das Vorspiel und die Texte des Tracks und untersa
Die besten und am besten bewerteten KI-Illustrationstools 2026: Unsere sorgfältig zusammengestellte Liste enthält die leistungsstärksten Tools, mit denen Sie im Handumdrehen atemberaubende redaktionelle Szenen und auffällige Cover-Grafiken erstellen können. Jede Option wurde strengen Praxistests unterzogen und wird im Vergleich zwischen kostenlosen und kostenpflichtigen Versionen vorgestellt, damit Sie die perfekte Lösung für Ihren Arbeitsablauf finden können. Probieren Sie diese unverzichtbaren Lösungen noch heute aus, um Ihren KI-Vorteil zu nutzen und Ihre kreative Produktivität zu steigern. Entdecken Sie sie jetzt auf XIX.AI.
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Nachhilfetools für die Prüfungsvorbereitung des Jahres 2026 finden Sie hier auf XIX.AI! Unsere sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Tools, die einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, Tests aus der Praxis sowie wöchentlich aktualisierte Rankings bieten. Sie helfen Ihnen dabei, Ihre Schreibeffizienz zu steigern, das Erlernen komplexer Themen zu vereinfachen und Ihr akademisches Potenzial voll auszuschöpfen. Entdecken Sie jetzt Ihr perfektes Tool zur Prüfungsvorbereitung und legen Sie noch heute los, um Ihren KI-Vorteil zu nutzen!
10 Tools
xix.ai
2026 Neueste Besten Top-Bewertete KI-Budgetplanungs-Tools für persönliches Geldmanagement sind hier auf XIX.AI! Diese kuratierte Sammlung bietet leistungsstarke, revolutionäre Lösungen, die Ihnen helfen, reale Tests durchzuführen, Ausgaben Gewohnheiten zu verstehen und personalisierte Pläne zu erstellen, um die Produktivität zu steigern. Genießen Sie einen kostenlosen vs. bezahlten Vergleich sowie detaillierte Rankings. Unbedingt auszuprobierende Tools, die darauf ausgelegt sind, das Geldmanagement zu vereinfachen und Ihre KI-Vorteile freizuschalten. Entdecken Sie jetzt!
11 Tools
xix.ai
2026 – Die neuesten, besten und am höchsten bewerteten AI-Geräte zur Schlafüberwachung, sorgfältig ausgewählt für eine optimale Erholung. Dieser vollständig aktualisierte wöchentliche Leitfaden präsentiert leistungsstarke Tools mit praktischen Tests, einem Vergleich von kostenlosen und kostenpflichtigen Optionen sowie detaillierten Ranglisten, um Ihnen die beste Lösung zu zeigen, die die Schlafqualität verbessert und bessere Gewohnheiten zum Zubettgehen fördert. Entdecken Sie ihn jetzt auf XIX.AI, um Ihren Vorteil durch KI zu nutzen.
10 Tools
xix.ai
Die besten und am besten bewerteten KI-SQL-Copilots für Produkt- und Umsatzanalysen im Jahr 2026! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die anhand wöchentlich aktualisierter Rankings in der Praxis getestet werden. Diese Tools helfen Anwendern dabei, ihre Produktivität erheblich zu steigern, indem sie die Datenanalyse beschleunigen, komplexe Abfragen optimieren und präzise Erkenntnisse liefern, um intelligentere Geschäftsentscheidungen zu ermöglichen. Entdecken Sie jetzt das perfekte Tool, um Ihren KI-Vorteil voll auszuschöpfen!
14 Tools
xix.ai
2026: Die aktuell besten und am besten bewerteten KI-Hausaufgabenhelfer, die nicht nur Antworten liefern, sondern auch Kernkonzepte vermitteln – leistungsstarke Tools für Schüler und Studenten. Eine kuratierte Liste, die Sie unbedingt ausprobieren sollten. Wöchentlich aktualisiert. Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten. Praxistests. Genaue Rankings, die Ihnen helfen, Ihr volles Lernpotenzial auszuschöpfen. Entdecken Sie jetzt das perfekte Tool für intelligenteres Lernen.
10 Tools
xix.ai
