Ant Forest LingBot stellt einen Open-Source-Datensatz mit 2,7 Terabyte und 2 Millionen realen Beispielen von 6 Kameras vor

Am 31. März hat Ant Lingbo Technology den umfangreichen RGB-D-Datensatz „LingBot-Depth-Dataset“ offiziell als Open Source veröffentlicht. Diese Sammlung umfasst 3 Millionen hochwertige Bildpaare, von denen 2 Millionen in realen Umgebungen aufgenommen und 1 Million synthetisch gerendert wurden. Mit einer Gesamtgröße von 2,71 TB umfasst er Daten von sechs gängigen Tiefenkameras und ist damit der größte Open-Source-RGB-D-Datensatz, der hauptsächlich auf realen Szenen basiert. Diese Veröffentlichung liefert reichhaltigere, realistischere Daten, um die Forschung in den Bereichen verkörperte Intelligenz, räumliche Wahrnehmung und 3D-Sicht voranzutreiben.

(Bild: Ein Beispiel aus dem LingBot-Depth-Dataset. Von oben nach unten: das RGB-Bild, die Roh-Tiefenkarte des Sensors und die Ground-Truth-Tiefenkarte. Der Datensatz liefert sowohl Roh- als auch Ground-Truth-Tiefeninformationen und bietet damit eine solide Grundlage für das Training und die Bewertung von Modellen unter realen Bedingungen.)

Öffentlich zugängliche Tiefendatensätze stehen seit langem vor Herausforderungen wie begrenztem Umfang, unzureichender Abdeckung realer Szenen und der Abhängigkeit von einzelnen Hardwaretypen. Viele Datensätze sind größtenteils synthetisch und weisen im Vergleich zu echten Sensordaten erhebliche Lücken hinsichtlich Rauschmustern, Tiefenlücken und Materialdarstellung auf, was den praktischen Einsatz trainierter Modelle behindert.

Der LingBot-Depth-Dataset schließt diese Datenlücke in der räumlichen Wahrnehmung effektiv, indem er großflächige Aufnahmen realer Szenen bereitstellt. Jede Probe enthält ein RGB-Bild, eine rohe Sensortiefenkarte und eine entsprechende Ground-Truth-Tiefenkarte, wodurch sie direkt für das Training und die Bewertung von Modellen zur Tiefenschätzung und Tiefenvervollständigung einsetzbar ist. Es unterstützt sechs gängige Tiefenkameras – Orbbec 335, 335L sowie Intel RealSense D405, D415, D435, D455 – und ermöglicht so eine bessere Modellgeneralisierung und -bewertung über verschiedene Geräte und Szenarien hinweg.

Ant Lingbos zuvor als Open Source veröffentlichtes hochpräzises räumliches Wahrnehmungsmodell, LingBot-Depth, wurde unter Verwendung dieses Datensatzes als Kerndaten trainiert. Im Vergleich zu gängigen Methoden der Branche wie PromptDA und PriorDA reduziert LingBot-Depth den Tiefenvorhersagefehler in Innenräumen um über 70 % und bei Aufgaben zur Vervollständigung spärlicher Tiefeninformationen um etwa 47 %. Im Einsatz ermöglicht dieses Modell kommerziellen Tiefenkameras, unter schwierigen Bedingungen wie transparentem Glas, reflektierenden Oberflächen und Gegenlicht vollständigere, glattere und schärfere Tiefenkarten zu erzeugen – und das ganz ohne Hardware-Modifikationen. In bestimmten Szenarien reicht seine Leistung an die von hochwertigen Tiefenkameras in Industriequalität heran.

Für akademische und Forschungseinrichtungen senkt diese Open-Source-Initiative die Hürden für die Datenerfassung und -annotation und beschleunigt den Übergang von Technologien zur räumlichen Wahrnehmung von der Forschung zur praktischen Anwendung. Da Robotik und verkörperte Intelligenz rasch in physische Umgebungen integriert werden, werden groß angelegte, hochwertige Datensätze, die auf realen Daten basieren, zu einer unverzichtbaren Infrastruktur für den weiteren Fortschritt der Branche.