Li Feifeis ESI-Bench: KI entwickelt sich vom Beobachter zum Akteur

In jüngster Zeit hat der vom Team um Fei-Fei Li veröffentlichte ESI-Bench (Embodied Spatial Intelligence Benchmark) große Aufmerksamkeit auf sich gezogen. Dieser Benchmark, der als „ImageNet der verkörperten Intelligenz“ gilt, deckt entscheidende Mängel der führenden großen Modelle bei der Interaktion mit dem physischen Raum auf.

Warum ESI-Bench einen neuen Standard für verkörperte Intelligenz setzt

Frühere Bewertungen der räumlichen Intelligenz von KI stützten sich weitgehend auf „passive Wahrnehmung“: Man fütterte das Modell mit einigen Bildern aus optimaler Perspektive und ließ es logisch schlussfolgern. Dieser Ansatz testet im Wesentlichen das „Sehvermögen“ des Modells und nicht seine „räumliche Wahrnehmung“.

Der zentrale Durchbruch von ESI-Bench besteht in der Durchsetzung des Wahrnehmungs-Handlungs-Zyklus.

Beobachter werden zu Akteuren: Bei ESI-Bench kann das Modell nicht stationär bleiben und anhand vorgegebener Bilder urteilen; es muss aktiv entscheiden, wohin es gehen, was es betrachten, welche Objekte es aufnehmen und welche mechanischen Strukturen es bedienen soll, um durch eine Reihe interaktiver Handlungen verborgene räumliche Informationen aufzudecken.

Entwurfsgrundlage: Der Benchmark basiert auf dem „Kernwissenssystem menschlicher Säuglinge“ der Kognitionspsychologin Elizabeth Spelke und umfasst vier Dimensionen: Objektrepräsentation, Anordnung und Geometrie, Mengenrepräsentation sowie zielgerichtetes Handeln.

Umfang und Plattform: Es umfasst 10 Kategorien, 29 Unterkategorien und 3.081 Aufgabeninstanzen, die auf der Simulationsplattform OmniGibson mit Materialien aus der BEHAVIOR-1K-Szenenbibliothek aufgebaut sind.

Drei zentrale Erkenntnisse aus der Auswertung

Das Forschungsteam führte eingehende Tests mit modernsten multimodalen Modellen wie GPT-5 und der Gemini-Reihe durch. Die Ergebnisse geben Anlass zum Nachdenken:

1. Die Wahrnehmung ist nicht der Engpass – die Handlungsstrategie ist es

Bei optimaler Sicht liefern die Modelle oft genaue Antworten – die Genauigkeit kann von 14,6 % auf 95,1 % steigen. Müssen sie die Sicht jedoch aktiv finden, sinkt die Genauigkeit dramatisch.

Aktionsblindheit: Den Modellen fehlen Navigations- und Manipulationsstrategien; falsche Aktionen führen zu schlechten Sichtverhältnissen, was kaskadierende Fehler bei nachfolgenden Beurteilungen auslöst.

2. Eine unvollständige 3D-Rekonstruktion ist irreführender als 2D-Bilder

Die Studie widerlegt die Annahme, dass „3D-Karten eine universelle Lösung sind“.

Werden perfekte 3D-Referenzdaten aus der Vogelperspektive eingespeist, ist die Schlussfolgerungsleistung ausgezeichnet. Die Verwendung aktueller fortschrittlicher VGGT-Verfahren für die Echtzeit-Rekonstruktion führt jedoch zu geometrischen Artefakten, Okklusionsfehlern und Tiefenabweichungen – im Wesentlichen werden dem Schlussfolgerungsmodell fehlerhafte Daten zugeführt, was zu einer schlechteren Leistung führt als die bloße Betrachtung von 2D-Bildern.

3. Metakognitives Defizit: KI weiß nicht, dass sie „nicht genug gesehen hat“

Dies ist die größte kognitive Kluft zwischen Menschen und KI:

Unterschied in der kognitiven Vorsicht: Menschen suchen aktiv nach widersprüchlichen Perspektiven, wenn Informationen mehrdeutig sind, und verringern ihre Zuversicht bei Unsicherheit.

Modellhalluzination: Modelle hören oft zu früh auf zu forschen, selbst bei extrem begrenzten Informationen, und liefern selbstbewusst falsche Schlussfolgerungen. Das Team bezeichnet dies als „metakognitives Defizit“ – dem Modell fehlt ein interner Zweifelmechanismus, und es kann nicht beurteilen, ob die aktuellen Informationen ausreichend sind.

Wohin die verkörperte Intelligenz als Nächstes führt

ESI-Bench signalisiert einen Paradigmenwechsel von der „statischen Bild-Text-Zuordnung“ hin zur „echten physischen Interaktion“ bei der Bewertung verkörperter Intelligenz. Wie das Team um Fei-Fei Li feststellt, erfordert das Erreichen echter räumlicher Intelligenz mehr als nur das Stapeln visueller Encoder oder die Steigerung der Rechenleistung.

Zukünftige Forschung zur verkörperten Intelligenz muss sich darauf konzentrieren, Modellen

die Fähigkeit zur aktiven Entscheidungsfindung bei Erkundungssequenzen statt einfacher Bilderkennung;

eine höhere Robustheit, um auch bei unvollständigen Szenenbeobachtungen logische Urteile zu fällen;

einen eingebetteten metakognitiven Regelkreis, damit die KI lernt, bei fehlenden Antworten zu erkunden, anstatt falsche Halluzinationen zu erzeugen.