Autonome KI-Systeme stellen die Steuerung in physischen Umgebungen auf die Probe

Autonome KI-Systeme breiten sich über Softwareumgebungen hinaus auf Lagerhäuser, Liefernetzwerke und öffentliche Räume aus. Diese Entwicklung wirft die Frage auf, ob bestehende KI-Vorschriften Systeme, die in physischen Umgebungen betrieben werden, angemessen regeln.

Die meisten aktuellen KI-Governance-Rahmenwerke konzentrieren sich auf Online-Schäden und Modellausgaben wie Voreingenommenheit, Fehlinformationen und schädliche Inhalte. Verkörperte KI-Systeme bergen Risiken in physischen Umgebungen, in denen Ausfälle Auswirkungen auf Infrastruktur, Eigentum oder die Sicherheit von Menschen haben können.

Die Infocomm Media Development Authority (IMDA) in Singapur veröffentlichte am 20. Mai die Version 1.5 ihres „Model AI Governance Framework for Agentic AI“. Das Rahmenwerk bietet Leitlinien für Organisationen, die KI-Agenten einsetzen, die planen, Entscheidungen treffen und über mehrere Schritte hinweg Maßnahmen ergreifen können, um benutzerdefinierte Ziele zu erreichen.

Das Rahmenwerk weist darauf hin, dass Agenten mit Tools, externen Systemen und anderen Agenten interagieren können, darunter Systeme, die Datenbanken aktualisieren, Dateien schreiben, Geräte steuern oder Transaktionen ausführen. Es umreißt Zugriffskontrollen, Überwachung und menschliche Genehmigung als Governance-Maßnahmen für den Einsatz.

KI hält Einzug in physische Systeme

Auf einem KI-Gipfel in Singapur in der vergangenen Woche drehten sich die Diskussionen über Robotik und verkörperte KI vor allem um Fragen der Betriebssicherheit, die eher mit der Luftfahrt, industriellen Systemen und der Überwachung kritischer Infrastrukturen in Verbindung gebracht werden als mit herkömmlicher Software-Regulierung.

Die Referenten untersuchten zudem, ob autonome Systeme über längere Zeiträume hinweg sicher und zuverlässig in unvorhersehbaren realen Umgebungen betrieben werden können.

Dr. Ya-Qin Zhang, Gründungsdekan des Instituts für KI-Industrieforschung an der Tsinghua-Universität, wies darauf hin, dass verkörperte KI-Systeme die bereits in autonomer Software vorhandenen Risiken verstärken. Er erklärte, dass Ausfälle direkte Auswirkungen auf Verkehrssysteme, Drohnen, Logistiknetzwerke und kritische Infrastrukturen haben können.

„Jedes Risiko im digitalen Bereich wird im physischen Bereich verstärkt, und der physische Bereich wird physische Folgen haben“, erklärte Zhang gegenüber MLex am Rande des Gipfels.

Er fügte hinzu, dass Fahrzeuge, Drohnen, intelligente Stromnetze und andere Infrastrukturen anfällig werden könnten, je tiefer KI-Systeme in physische Abläufe eingebettet werden.

Die Referenten hoben Zuverlässigkeit, Betriebsüberwachung und Sicherheit nach der Inbetriebnahme als wichtige Aspekte der Governance hervor. Die Diskussionen auf dem Gipfel deuteten auf einsatzbasierte Governance-Modelle hin, die auf Simulation, Telemetrie und iterativen Tests beruhen, anstatt sich allein auf eine einmalige Zertifizierung zu stützen.

Das Rahmenwerk der IMDA empfiehlt zudem eine schrittweise Einführung, kontinuierliche Überwachung und weitere Tests nach der Bereitstellung. Es weist darauf hin, dass Agenten dynamisch mit ihrer Umgebung interagieren und nicht alle Risiken vor der Freigabe vorhersehbar sind.

Die Überwachung wird zu einer Herausforderung bei der Einführung

Grab, das im singapurischen Stadtteil Punggol autonome Fahrzeuge und Lieferroboter erprobt, erklärte, dass die Governance beim Einsatz stark von Simulation, Tests und kontinuierlicher Überwachung abhängt.

„Wir führen zahlreiche Simulationen durch und testen ausgiebig auf geschlossenen und offenen Strecken, um sicherzustellen, dass unsere Roboter zuverlässig sind“, sagte Suthen Thomas Paradatheth, Chief Technology Officer bei Grab, während einer der Podiumsdiskussionen des Gipfels.

„Bevor wir auf Hunderte von Robotern skalieren, stellen wir sicher, dass wir das Konzept zunächst in der Simulation und mit wenigen Robotern erfolgreich umsetzen“, fügte er hinzu.

Grab verwies zudem auf Überwachungssysteme, die darauf ausgelegt sind, die Leistung der Roboter zu verfolgen und unerwartete Ausfälle nach dem Einsatz zu erkennen.

„Es gibt eine ganze Reihe von Problemen, die auftreten könnten“, sagte Paradatheth.

Das IMDA-Rahmenwerk besagt, dass Organisationen Anwendungsfälle für agentenbasierte KI anhand von Datenzugriff, Zugriff auf externe Systeme, Autonomie und Aufgabenkomplexität bewerten sollten. Es verweist zudem auf den Umfang und die Umkehrbarkeit von Agentenaktionen, die Einbindung Dritter sowie die Gesamtkomplexität des Systems.

Außerdem wird empfohlen, den Zugriff der Agenten auf Tools und Systeme zu beschränken, das Prinzip der geringsten Berechtigungen anzuwenden und Standardarbeitsanweisungen für die Arbeitsabläufe der Agenten festzulegen. Organisationen sollten zudem Mechanismen einrichten, um Agenten bei Fehlfunktionen offline zu schalten.

Die Verantwortlichkeit verteilt sich auf mehrere Akteure

MLex berichtete, dass an verkörperten KI-Systemen mehrere Parteien aus den Bereichen Entwicklung, Fertigung und Bereitstellung beteiligt sein können. Dazu gehören KI-Entwickler, Robotikhersteller, Halbleiterlieferanten und Infrastrukturbetreiber.

MLex wies zudem darauf hin, dass die Zuweisung der Verantwortung schwieriger sein kann, wenn sich Systeme nach der Bereitstellung durch Software-Updates, Telemetrie und Betriebsdaten weiter anpassen.

Laut IMDA bleiben Organisationen und Menschen für die Handlungen der Agenten verantwortlich, selbst wenn diese autonom agieren. Das Rahmenwerk fordert eine klare Verantwortungszuweisung entlang der gesamten Wertschöpfungskette der agentenbasierten KI – von Modell- und Plattformanbietern über Implementierer und Tool-Anbieter bis hin zu Endnutzern.

Applied Materials erklärte, dass der großflächige Einsatz von Robotik auch mit der Wirtschaftlichkeit von Halbleitern und der Systemintegration zusammenhänge. Om Nalamasu, Chief Technology Officer des Unternehmens, sagte, Robotiksysteme seien auf bessere Sensoren, Energieeffizienz, fortschrittliche Gehäusetechnologie und Rechnerarchitekturen angewiesen.

Nalamasu erklärte, Robotiksysteme würden speziell auf bestimmte industrielle Ökosysteme zugeschnittene Designs erfordern und nicht eine Einheitslösung für alle Umgebungen.

Zhao Yuli, Chief Strategy Officer des chinesischen Robotik-Start-ups Galbot, erklärte, Peking lege den Schwerpunkt auf den Umfang des Einsatzes und die industrielle Kommerzialisierung durch staatlich geförderte Testumgebungen, industrielle Partnerschaften und langfristige Finanzierungsinitiativen.

Galbot hat humanoide Robotersysteme im Einzelhandel, in Lagerhäusern und in der Pharmabranche in China eingesetzt. Dazu gehören auch autonome Geschäfte, die rund um die Uhr in Betrieb sind. Zhao erklärte, dass halbstrukturierte industrielle Umgebungen wahrscheinlich einen frühen Weg zur Kommerzialisierung darstellen werden, da sie besser kontrollierbare Betriebsbedingungen bieten.

Japan legt den Schwerpunkt verstärkt auf die Festlegung von Standards, Robotik-Datensätze und Sicherheitsregulierung. Professor Yutaka Matsuo von der Graduate School of Engineering der Universität Tokio verwies auf ein Projekt der „AI Association“, das darauf abzielt, 100.000 Stunden an Robotikdaten zu sammeln, um grundlegende Robotermodelle zu unterstützen.

Matsuo verwies außerdem auf das japanische AI Safety Institute und den Hiroshima AI Process als Teil umfassenderer Bemühungen, gemeinsam mit Singapur und anderen asiatischen Ländern Governance-Standards für verkörperte KI-Systeme zu entwickeln.

Singapur legt Kontrollmechanismen für agierende KI fest

Singapurs Rahmenwerk umreißt vier Governance-Bereiche für agentische KI. Diese umfassen die vorausschauende Risikobewertung, die menschliche Rechenschaftspflicht, technische Kontrollen und die Verantwortung der Endnutzer. Das Rahmenwerk beschreibt diese als iterativen Prozess und nicht als einmalige Bewertung.

Dem Rahmenwerk zufolge muss die menschliche Aufsicht an agentische Systeme angepasst werden, da eine kontinuierliche Überprüfung aller Arbeitsabläufe bei großem Umfang unpraktikabel wird. Es empfiehlt eine menschliche Genehmigung an wichtigen Kontrollpunkten, darunter Maßnahmen mit hohem Risiko, irreversible Handlungen und Ausreißerverhalten.

Die IMDA identifiziert zudem Automatisierungsverzerrungen und Alarmmüdigkeit als Risiken bei der menschlichen Überwachung leistungsfähiger Agenten. Sie empfiehlt, die Aufsicht anhand von Indikatoren wie der Häufigkeit menschlicher Eingriffe und der Reaktionszeiten zu überprüfen sowie automatisierte Echtzeitüberwachung einzusetzen, um unerwartetes Verhalten zu erkennen.

Das Rahmenwerk besagt, dass Nutzer darüber informiert werden sollten, welche Maßnahmen ein Agent ergreifen kann, auf welche Daten er zugreifen kann und welche Verantwortlichkeiten beim Nutzer verbleiben. Es empfiehlt zudem Mitarbeiterschulungen zur Mensch-Agent-Interaktion, zur Überwachung sowie zu den beruflichen Fähigkeiten, die zur Bewertung der Agentenergebnisse erforderlich sind.

Unternehmen testen KI in regulierten Arbeitsabläufen

JPMorgan führt KI-Tools in seinem gesamten globalen Investmentbanking-Geschäft ein, erklärte Paul Uren, Leiter des Investmentbankings für den asiatisch-pazifischen Raum bei der Bank, gegenüber Reuters. Die Bank erklärte, die Tools würden Bankern helfen, auf mehr Informationen zuzugreifen und diese mit internen Systemen zu verknüpfen. Sie werden zudem zur Erstellung von Inhalten und zur Unterstützung der Kundenbetreuung eingesetzt.

JPMorgan-CEO Jamie Dimon erklärte gegenüber Bloomberg News, die Bank werde mehr KI-Spezialisten und weniger traditionelle Banker einstellen. Reuters berichtete, dass globale Banken ihre Investitionen in KI erhöhen, ihre Belegschaften umstrukturieren und die Aufgabenbereiche der Mitarbeiter verändern.

Die Bank gehört zudem zu den ausgewählten Organisationen, denen Anthropic im Rahmen einer kontrollierten Initiative namens „Project Glasswing“ die Nutzung seines Cybersicherheitsmodells „Mythos“ gestattet. Laut Anthropic kann Mythos alte Sicherheitslücken in Browsern, der Infrastruktur und der Software aufspüren.

Reuters berichtete unter Berufung auf Quellen und Führungskräfte der Unternehmen, dass auch Goldman Sachs, Citigroup, Bank of America und Morgan Stanley Zugang zu Mythos haben oder das System derzeit testen.

Das Rahmenwerk der IMDA enthält eine Fallstudie der OCBC Bank of Singapore zur Analyse der Vermögensherkunft. Das System wertet einkommensbezogene Dokumente aus und erstellt ein Memo zur Vermögensherkunft. Es trifft keine eigenständigen Entscheidungen in Bezug auf Kreditvergabe, Kundenaufnahme oder Risiken.

In diesem Fall beschränkt sich der Workflow auf Autonomie auf Aufgabenebene und wird nur ausgelöst, wenn vordefinierte Workflows dies vorsehen. An kritischen Entscheidungspunkten ist eine menschliche Überprüfung erforderlich, und die endgültige Validierung obliegt weiterhin den dafür zuständigen Prüfern.

Roboter halten Einzug in die Industrie

In Japan nutzt bereits ein Drittel der Unternehmen KI-gestützte Roboter oder erwägt deren Einsatz, wie aus einer von Nikkei Research vom 1. bis 15. Mai durchgeführten Reuters-Umfrage hervorgeht. Im Rahmen der Umfrage wurden 492 Unternehmen befragt, von denen 220 unter der Bedingung der Anonymität antworteten.

Etwa 4 % der Befragten gaben an, bereits KI-Roboter einzusetzen, 5 % planen deren Einsatz und 25 % erwägen dies. Die restlichen 66 % gaben an, keine derartigen Pläne zu haben.

Am aktivsten waren in der Umfrage die Hersteller von Transportausrüstung: 80 % von ihnen setzen bereits KI-Roboter ein oder erwägen deren Einsatz. Im Vergleich dazu gaben 94 % der Befragten aus dem Großhandelssektor an, keine Pläne für den Einsatz von KI-Robotern zu haben.

Unter den Unternehmen, die KI-Roboter einsetzen, deren Einsatz planen oder dies in Erwägung ziehen, nannten 71 % die Fertigung als Anwendungsfall. Weitere 19 % nannten gefährliche Aufgaben, während 11 % den Kundenservice angaben.

Die japanische Regierung erwartet, dass KI-Roboter dazu beitragen werden, den chronischen Arbeitskräftemangel des Landes zu beheben und seine Position in der Industrierobotik zu stärken. Japan ist Sitz von Robotikunternehmen wie Fanuc, Yaskawa Electric und Kawasaki Heavy Industries, sieht sich jedoch im Bereich der KI-gestützten Robotik der Konkurrenz aus China und den Vereinigten Staaten gegenüber.

Agenten im Einzelhandel gehen über die Suche hinaus

Walmart hat Pläne vorgestellt, agentenbasierte KI in den Arbeitsabläufen rund um Einkauf, Mitarbeiter, Lieferanten und Entwickler einzusetzen.

Im Juli 2025 kündigte der Einzelhändler Pläne für vier KI-gestützte „Super-Agenten“ an. Diese sind für Käufer, Filialmitarbeiter, Lieferanten und Verkäufer sowie Softwareentwickler konzipiert. Walmart erklärte, diese Agenten würden zum zentralen Einstiegspunkt für KI-Interaktionen in all diesen Gruppen werden.

Eines der Tools, „Sparky“, ist bereits in der Walmart-App als generativer, KI-gestützter Einkaufsassistent verfügbar. Hari Vasudev, Chief Technology Officer von Walmart in den USA, erklärte, die erweiterte Version werde in der Lage sein, Artikel nachzubestellen und Veranstaltungen zu planen. Außerdem werde sie mithilfe von Computer Vision Rezepte vorschlagen, die auf dem Inhalt des Kühlschranks eines Kunden basieren.

Walmart entwickelt zudem einen „Associate Super-Agent“ für Filialmitarbeiter und Mitarbeiter in der Unternehmenszentrale. Ein separater „Marty“-Agent wird für Verkäufer, Lieferanten und Werbekunden entwickelt. Der Einzelhändler arbeitet außerdem an einem „Developer Super-Agent“ zum Testen, Entwickeln und Einführen zukünftiger KI-Tools.

Das Unternehmen lehnte es ab, sich dazu zu äußern, ob die Agenten Arbeitsplätze ersetzen würden. Dave Glick, Senior Vice President für Unternehmensgeschäftssysteme, erklärte, die Tools würden neue Arbeitsplätze schaffen, ohne jedoch weitere Details zu nennen.

Siehe auch: OpenAI eröffnet KI-Labor in Singapur, während die IMDA ihr KI-Rahmenwerk aktualisiert

Möchten Sie mehr über KI und Big Data von Branchenführern erfahren? Besuchen Sie die „AI & Big Data Expo“, die in Amsterdam, Kalifornien und London stattfindet. Die umfassende Veranstaltung ist Teil der TechEx und findet gemeinsam mit anderen führenden Technologieveranstaltungen statt. Klicken Sie hier für weitere Informationen.

AI News wird von TechForge Media bereitgestellt. Entdecken Sie hier weitere bevorstehende Veranstaltungen und Webinare zum Thema Unternehmenstechnologie.