Heim
Das Testen von KI-Agenten konzentriert sich stark auf Programmieraufgaben und ignoriert dabei 92 % der Belegschaft.

Eine gemeinsame Studie der Carnegie Mellon University und der Stanford University unterstreicht eine kritische „Pfadabhängigkeit“ in der aktuellen Entwicklung von KI-Agenten. Die Ergebnisse zeigen, dass bestehende Bewertungsmaßstäke unverhältnismäßig stark auf die Programmierung fokussiert sind und dabei nicht-technische Sektoren übersehen, die 92 % der US-Arbeitskräfte ausmachen.
Das Forschungsteam führte eine systematische Analyse von 72.000 Aufgaben in 43 führenden KI-Benchmarks durch und verknüpfte diese mit 1.016 Berufen, die in der O*NET-Datenbank der US-Regierung aufgeführt sind.
Im Survey identifizierte Hauptungleichgewichte:
„Blindflecken der Benchmarks“ in der Digitalindustrie: Obwohl Führungspositionen eine Digitalisierungsrate von 88 % aufweisen, machen sie lediglich 1,4 % der aktuellen KI-Benchmark-Tests aus. Ebenso entfallen auf juristische Berufe mit einem Digitalisierungsgrad von 70 % nur 0,3 % der Benchmark-Abdeckung.
Erhebliche Qualifikationslücke: Aktuelle KI-Bewertungen priorisieren Fähigkeiten im Bereich „Informationsbeschaffung“ und „Computerbedienung“, die weniger als 5 % der US-Jobs ausmachen. Im Gegensatz dazu fehlt „zwischenmenschliche Interaktion“, ein wesentlicher Bestandteil der realen Arbeitswelt, in bestehenden KI-Bewertungen weitgehend.
„Fähigkeitsabfall“ durch steigende Komplexität: Die Studie zeigt, dass KI-Agenten erhebliche Schwierigkeiten mit komplexen Aufgaben haben. Selbst in der Softwareentwicklung, ihrem Hauptstärkebereich, sinken die Erfolgsquoten stark, wenn die Anzahl der Aufgabenschritte zunimmt oder die logischen Anforderungen komplexer werden.
Die Forscher fordern, dass künftige KI-Benchmarks hochwertige, hochdigitalisierte Sektoren wie Management, Recht, Bauwesen und Ingenieurwesen priorisieren sollten. Darüber hinaus sollten Bewertungen nicht nur das Endergebnis, sondern auch die intermediären Ausführungsschritte prüfen, um praktische Herausforderungen wie unklare Ziele und verlängerte Verifizierungszyklen zu adressieren.
Marktdaten stützen diese Schlussfolgerungen. Eine aktuelle Analyse von Anthropic ergibt, dass nahezu 50 % ihrer API-Aufrufe weiterhin auf die Softwareentwicklung fokussiert sind. Experten warnen, dass KI-Entwicklung, wenn sie weiterhin einfach bewertbare Programmieraufgaben priorisiert, das Risiko eingeht, die Chance zu verpassen, Produktivitätswerte über ein breiteres wirtschaftliches Spektrum hinweg zu demonstrieren.
Verwandter Artikel
Stripe übernimmt OpenRouter – Routing auf Basis von KI-Modellen gewinnt an Dynamik
Stripe hat die Übernahme von OpenRouter vereinbart, einer Plattform für das Routing von KI-Modellen, die Entwicklern über eine einzige Schnittstelle Zugriff auf Hunderte von Modellen bietet. Durch die
Der ehemalige OpenAI-Forscher Barrett Zoph kehrt zu Google zurück, um die Entwicklung von Gemini voranzutreiben
Barret Zoph, der zuvor aufgrund von Meinungsverschiedenheiten mit Miriam Mularati, der Geschäftsführerin von Thinking Machines Lab, überraschend das Unternehmen verlassen und zu OpenAI gewechselt war,
Wie Recursive Intelligence innerhalb von vier Monaten 335 Millionen Dollar bei einer Bewertung von 4 Milliarden Dollar einwarb
Die Mitbegründerinnen des Start-ups Ricursive Intelligence schienen dafür prädestiniert zu sein, gemeinsam ein Unternehmen zu gründen.Anna Goldie, CEO, und Azalia Mirhoseini, CTO, sind in der KI-Commu
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll

Eine gemeinsame Studie der Carnegie Mellon University und der Stanford University unterstreicht eine kritische „Pfadabhängigkeit“ in der aktuellen Entwicklung von KI-Agenten. Die Ergebnisse zeigen, dass bestehende Bewertungsmaßstäke unverhältnismäßig stark auf die Programmierung fokussiert sind und dabei nicht-technische Sektoren übersehen, die 92 % der US-Arbeitskräfte ausmachen.
Das Forschungsteam führte eine systematische Analyse von 72.000 Aufgaben in 43 führenden KI-Benchmarks durch und verknüpfte diese mit 1.016 Berufen, die in der O*NET-Datenbank der US-Regierung aufgeführt sind.
Im Survey identifizierte Hauptungleichgewichte:
„Blindflecken der Benchmarks“ in der Digitalindustrie: Obwohl Führungspositionen eine Digitalisierungsrate von 88 % aufweisen, machen sie lediglich 1,4 % der aktuellen KI-Benchmark-Tests aus. Ebenso entfallen auf juristische Berufe mit einem Digitalisierungsgrad von 70 % nur 0,3 % der Benchmark-Abdeckung.
Erhebliche Qualifikationslücke: Aktuelle KI-Bewertungen priorisieren Fähigkeiten im Bereich „Informationsbeschaffung“ und „Computerbedienung“, die weniger als 5 % der US-Jobs ausmachen. Im Gegensatz dazu fehlt „zwischenmenschliche Interaktion“, ein wesentlicher Bestandteil der realen Arbeitswelt, in bestehenden KI-Bewertungen weitgehend.
„Fähigkeitsabfall“ durch steigende Komplexität: Die Studie zeigt, dass KI-Agenten erhebliche Schwierigkeiten mit komplexen Aufgaben haben. Selbst in der Softwareentwicklung, ihrem Hauptstärkebereich, sinken die Erfolgsquoten stark, wenn die Anzahl der Aufgabenschritte zunimmt oder die logischen Anforderungen komplexer werden.
Die Forscher fordern, dass künftige KI-Benchmarks hochwertige, hochdigitalisierte Sektoren wie Management, Recht, Bauwesen und Ingenieurwesen priorisieren sollten. Darüber hinaus sollten Bewertungen nicht nur das Endergebnis, sondern auch die intermediären Ausführungsschritte prüfen, um praktische Herausforderungen wie unklare Ziele und verlängerte Verifizierungszyklen zu adressieren.
Marktdaten stützen diese Schlussfolgerungen. Eine aktuelle Analyse von Anthropic ergibt, dass nahezu 50 % ihrer API-Aufrufe weiterhin auf die Softwareentwicklung fokussiert sind. Experten warnen, dass KI-Entwicklung, wenn sie weiterhin einfach bewertbare Programmieraufgaben priorisiert, das Risiko eingeht, die Chance zu verpassen, Produktivitätswerte über ein breiteres wirtschaftliches Spektrum hinweg zu demonstrieren.
Stripe übernimmt OpenRouter – Routing auf Basis von KI-Modellen gewinnt an Dynamik
Stripe hat die Übernahme von OpenRouter vereinbart, einer Plattform für das Routing von KI-Modellen, die Entwicklern über eine einzige Schnittstelle Zugriff auf Hunderte von Modellen bietet. Durch die
Der ehemalige OpenAI-Forscher Barrett Zoph kehrt zu Google zurück, um die Entwicklung von Gemini voranzutreiben
Barret Zoph, der zuvor aufgrund von Meinungsverschiedenheiten mit Miriam Mularati, der Geschäftsführerin von Thinking Machines Lab, überraschend das Unternehmen verlassen und zu OpenAI gewechselt war,
Wie Recursive Intelligence innerhalb von vier Monaten 335 Millionen Dollar bei einer Bewertung von 4 Milliarden Dollar einwarb
Die Mitbegründerinnen des Start-ups Ricursive Intelligence schienen dafür prädestiniert zu sein, gemeinsam ein Unternehmen zu gründen.Anna Goldie, CEO, und Azalia Mirhoseini, CTO, sind in der KI-Commu
Honestly, it's wild that AI testing is so obsessed with coding. I'm not a developer, yet my job involves 92% of the workforce's tasks! 🤷♂️ Why are we ignoring the rest of us? It feels like tech bros are building tools for themselves, not for everyone else. We need benchmarks that actually reflect real-world complexity, not just syntax errors. #AIforAll











