Unkontrollierte KI-Autonomie birgt größte Gefahr

Wenn Sie schon einmal mit einem selbstfahrenden Uber durch die Innenstadt von Los Angeles gefahren sind, erinnern Sie sich vielleicht an dieses seltsame Gefühl der Unsicherheit, das sich einschleicht, wenn es keinen Fahrer und keine Unterhaltung gibt – nur ein stilles Auto, das die Welt um sich herum interpretiert. Die Fahrt scheint normal zu verlaufen, bis das Fahrzeug einen Schatten falsch interpretiert oder ohne wirkliche Gefahr abrupt bremst. In diesem Moment erkennen Sie das Kernproblem der Autonomie: Sie gerät nicht in Panik, wenn sie es sollte. Diese Kluft zwischen ihrem Selbstvertrauen und ihrem Urteilsvermögen ist der Punkt, an dem Vertrauen aufgebaut oder zerstört wird. Ein Großteil der heutigen Unternehmens-KI fühlt sich auffallend ähnlich an. Sie ist leistungsfähig, aber nicht selbstbewusst, effizient, aber nicht einfühlsam. Deshalb ist der entscheidende Faktor für eine erfolgreiche Implementierung nicht mehr die reine Rechenleistung, sondern das Vertrauen.

Der Bericht „MLQ State of AI in Business 2025 [PDF]” bringt es auf den Punkt: 95 % der frühen KI-Pilotprojekte erzielen keinen messbaren ROI. Das liegt nicht an einer schwachen Technologie, sondern daran, dass sie auf die falschen Probleme angewendet wird. Dieses Muster wiederholt sich branchenübergreifend. Führungskräfte werden unruhig, wenn sie die Genauigkeit der Ergebnisse nicht überprüfen können; Teams zweifeln an ihren Dashboards; Kunden verlieren die Geduld, wenn eine Interaktion eher roboterhaft als unterstützend wirkt. Jeder, der schon einmal aus seinem Bankkonto ausgesperrt wurde, während ein automatisiertes Wiederherstellungssystem darauf besteht, dass seine Antworten falsch sind, weiß, wie schnell das Vertrauen schwindet.

Klarna ist nach wie vor das bekannteste Beispiel für groß angelegte Automatisierung am Arbeitsplatz. Das Unternehmen hat seine Belegschaft seit 2022 halbiert und berichtet, dass seine interne KI nun die Arbeit von 853 Vollzeitstellen erledigt, gegenüber 700 zu Beginn dieses Jahres. Der Umsatz ist um 108 % gestiegen, und die durchschnittliche Vergütung der Mitarbeiter ist um 60 % gestiegen, was zum Teil durch diese operativen Gewinne finanziert wurde. Doch das Bild ist komplexer. Klarna verzeichnete immer noch einen Quartalsverlust von 95 Millionen Dollar, und sein CEO hat vor weiteren Personalabbau gewarnt. Dies zeigt, dass Automatisierung allein keine Stabilität garantiert. Ohne angemessene Rechenschaftspflicht und Struktur bricht die Benutzererfahrung lange vor der KI zusammen. Wie Jason Roos, CEO des CCaaS-Anbieters Cirrus, feststellt: „Jede Transformation, die das Vertrauen intern oder extern untergräbt, ist mit Kosten verbunden, die man nicht ignorieren kann. Sie kann dazu führen, dass man schlechter dasteht.“

Wir haben bereits gesehen, was passiert, wenn Autonomie die Verantwortlichkeit übertrifft. Das britische Ministerium für Arbeit und Renten verwendete einen Algorithmus, der fälschlicherweise rund 200.000 berechtigte Anträge auf Wohngeld als potenziell betrügerisch kennzeichnete. Das Problem war nicht die Technologie, sondern das Fehlen einer klaren Verantwortlichkeit für die Entscheidungen. Wenn ein automatisiertes System das falsche Konto sperrt, einen berechtigten Antrag ablehnt oder unnötige Alarmmeldungen auslöst, lautet die Frage nicht nur „Warum hat das Modell versagt?“, sondern „Wer ist für das Ergebnis verantwortlich?“. Ohne eine Antwort darauf wird das Vertrauen brüchig.

„Der fehlende Schritt ist immer die Bereitschaft“, sagt Roos. „Wenn der Prozess, die Daten und die Sicherheitsvorkehrungen nicht vorhanden sind, steigert Autonomie nicht die Leistung, sondern verstärkt Schwächen. Verantwortlichkeit muss an erster Stelle stehen. Beginnen Sie mit dem gewünschten Ergebnis, identifizieren Sie verschwendete Anstrengungen, überprüfen Sie Ihre Bereitschaft und Governance und automatisieren Sie erst dann. Überspringen Sie diese Schritte, und die Verantwortlichkeit verschwindet so schnell, wie die Effizienzgewinne erscheinen.“

Ein Teil des Problems ist die Besessenheit von Skalierung ohne die Grundlage, diese aufrechtzuerhalten. Viele Unternehmen beeilen sich, autonome Agenten einzusetzen, die entschlossen handeln können, doch nur wenige denken darüber nach, was passiert, wenn diese Handlungen über die erwarteten Grenzen hinausgehen. Das Edelman Trust Barometer [PDF] zeigt einen stetigen Rückgang des öffentlichen Vertrauens in KI über einen Zeitraum von fünf Jahren. Eine gemeinsame Studie von KPMG und der University of Melbourne ergab, dass Arbeitnehmer bei fast der Hälfte der untersuchten Aufgaben eine stärkere Beteiligung des Menschen bevorzugen. Diese Ergebnisse unterstreichen eine einfache Wahrheit: Vertrauen entsteht selten dadurch, dass Modelle stärker vorangetrieben werden. Es entsteht dadurch, dass Menschen verstehen, wie Entscheidungen getroffen werden, und durch eine Governance, die weniger wie eine Bremse und mehr wie ein Lenkrad wirkt.

Die gleiche Dynamik zeigt sich auch auf der Kundenseite. Die Vertrauensstudie von PwC offenbart eine große Kluft zwischen Wahrnehmung und Realität: Die meisten Führungskräfte glauben, dass Kunden ihrem Unternehmen vertrauen, aber nur eine Minderheit der Kunden stimmt dem zu. Andere Umfragen zeigen, dass Transparenz dazu beiträgt, diese Kluft zu schließen, da die meisten Verbraucher eine klare Offenlegung wünschen, wenn KI in Serviceinteraktionen eingesetzt wird. Ohne diese Klarheit fühlen sich die Menschen nicht sicher – sie fühlen sich getäuscht, was die Beziehung belastet. Unternehmen, die offen über ihren Einsatz von KI kommunizieren, schützen nicht nur das Vertrauen, sondern normalisieren auch die Vorstellung, dass Technologie und menschliche Unterstützung koexistieren können.

Ein Teil der Verwirrung rührt vom Begriff „agente KI” selbst her. Ein Großteil des Marktes behandelt ihn als etwas Unvorhersehbares oder Selbststeuerndes, obwohl es sich in Wirklichkeit um eine durch Schlussfolgerungen und Erinnerungen verbesserte Workflow-Automatisierung handelt. Es handelt sich um eine strukturierte Methode, mit der Systeme innerhalb von vom Menschen festgelegten Parametern begrenzte Entscheidungen treffen können. Erfolgreiche, skalierbare Implementierungen folgen alle derselben Abfolge: Sie beginnen mit dem zu verbessernden Ergebnis, identifizieren unnötigen Aufwand im Arbeitsablauf, bewerten die Bereitschaft des Systems und des Teams für Autonomie und wählen erst dann die Technologie aus. Eine Umkehrung dieser Reihenfolge beschleunigt die Dinge nicht – sie führt nur zu schnelleren Fehlern. Wie Roos bemerkt, sollte KI das menschliche Urteilsvermögen erweitern, nicht ersetzen.

All dies weist auf eine umfassendere Wahrheit hin. Jede Automatisierungswelle wird letztendlich zu einer sozialen Frage, nicht nur zu einer technischen. Amazon hat seine Dominanz durch operative Konsistenz aufgebaut, aber auch durch das Vertrauen, dass Ihre Pakete ankommen. Wenn dieses Vertrauen schwindet, wandern die Kunden ab. KI folgt dem gleichen Muster. Sie können hochentwickelte, selbstkorrigierende Systeme einsetzen, aber wenn sich ein Kunde an irgendeinem Punkt getäuscht oder irregeführt fühlt, ist das Vertrauen zerstört. Intern gelten die gleichen Zwänge. Die globale Studie von KPMG [PDF] zeigt, wie schnell Mitarbeiter das Interesse verlieren, wenn sie nicht verstehen, wie Entscheidungen getroffen werden oder wer dafür verantwortlich ist. Ohne diese Klarheit kommt die Einführung zum Stillstand.

Da agentenbasierte Systeme zunehmend dialogorientierte Aufgaben übernehmen, gewinnt die emotionale Dimension noch mehr an Bedeutung. Erste Bewertungen autonomer Chat-Interaktionen zeigen, dass Menschen ihre Erfahrung nicht nur danach beurteilen, ob ihnen geholfen wurde, sondern auch danach, ob die Interaktion aufmerksam und respektvoll war. Ein Kunde, der sich abgewiesen fühlt, behält seine Frustration selten für sich. Der emotionale Tonfall der KI wird zu einem echten operativen Faktor, und Systeme, die diese Erwartung nicht erfüllen, laufen Gefahr, zu einer Belastung zu werden.

Die harte Wahrheit ist, dass die Technologie immer schneller voranschreiten wird als die instinktive Vertrautheit der Menschen damit. Das Vertrauen wird zwangsläufig hinter der Innovation zurückbleiben. Dies ist kein Argument gegen den Fortschritt, sondern ein Aufruf zur Reife. Jeder KI-Verantwortliche sollte sich fragen: Würde ich diesem System meine eigenen Daten anvertrauen? Kann ich seine letzte Entscheidung in einfacher Sprache erklären? Wer greift ein, wenn etwas schief geht? Wenn diese Antworten unklar sind, führt das Unternehmen keine Transformation durch – es bereitet sich auf eine Entschuldigung vor.

Roos bringt es auf den Punkt: „Agentische KI ist nicht das Problem. Unverantwortliche KI ist es.“

Wenn das Vertrauen schwindet, schwindet auch die Akzeptanz, und das Projekt, das transformativ schien, wird zu einem weiteren Eintrag in der 95-prozentigen Ausfallrate. Autonomie ist nicht der Feind. Das Vergessen, wer verantwortlich ist, ist es. Die Unternehmen, die die menschliche Hand am Steuer behalten, werden auch dann noch die Kontrolle haben, wenn der Hype um das autonome Fahren irgendwann abgeklungen ist.