Ant Forest LingBot dévoile un ensemble de données open source de 2,7 To comprenant 2 millions d'échantillons réels capturés par 6 caméras

Le 31 mars, Ant Lingbo Technology a officiellement mis en open source le jeu de données RGB-D à grande échelle LingBot-Depth-Dataset. Cette collection contient 3 millions de paires d'échantillons de haute qualité, dont 2 millions ont été capturés dans des environnements réels et 1 million générés de manière synthétique. D'un volume total de 2,71 To, il regroupe des données provenant de six caméras de profondeur courantes, ce qui en fait le plus grand ensemble de données RGB-D open source principalement basé sur des scènes réelles. Cette publication fournit des données plus riches et plus réalistes pour faire progresser la recherche dans les domaines de l'intelligence incarnée, de la perception spatiale et de la vision 3D.

(Image : un échantillon tiré du LingBot-Depth-Dataset. De haut en bas : l'image RVB, la carte de profondeur brute du capteur et la carte de profondeur de référence. L'ensemble de données fournit à la fois des informations de profondeur brutes et de référence, offrant un soutien solide pour l'entraînement et l'évaluation de modèles dans des conditions réelles.)

Les ensembles de données de profondeur accessibles au public sont depuis longtemps confrontés à des défis liés à leur échelle limitée, à une couverture insuffisante des scènes du monde réel et à leur dépendance à l'égard d'un seul type de matériel. De nombreux ensembles de données sont en grande partie synthétiques, présentant des lacunes importantes par rapport aux données de capteurs réels en termes de modèles de bruit, de trous de profondeur et de représentation des matériaux, ce qui entrave le déploiement pratique des modèles entraînés.

Le LingBot-Depth-Dataset comble efficacement cette lacune en matière de perception spatiale en fournissant des captures de scènes réelles à grande échelle. Chaque échantillon comprend une image RVB, une carte de profondeur brute du capteur et une carte de profondeur de référence correspondante, ce qui le rend directement applicable pour l'entraînement et l'évaluation de modèles d'estimation et de complétion de profondeur. Il prend en charge six caméras de profondeur courantes — Orbbec 335, 335L, et Intel RealSense D405, D415, D435, D455 — facilitant une meilleure généralisation et évaluation des modèles sur divers appareils et scénarios.

Le modèle de perception spatiale de haute précision précédemment open source d’Ant Lingbo, LingBot-Depth, a été entraîné en utilisant cet ensemble de données comme données de base. Par rapport aux méthodes courantes du secteur telles que PromptDA et PriorDA, LingBot-Depth réduit l’erreur de prédiction de profondeur de plus de 70 % dans les scènes d’intérieur et d’environ 47 % dans les tâches de complétion de profondeur clairsemée. Une fois déployé, ce modèle permet aux caméras de profondeur commerciales de produire des cartes de profondeur plus complètes, plus fluides et plus nettes dans des conditions difficiles telles que la présence de verre transparent, de surfaces réfléchissantes et de contre-jour, le tout sans aucune modification matérielle. Dans certains scénarios, ses performances rivalisent avec celles des caméras de profondeur haut de gamme de qualité industrielle.

Pour les établissements universitaires et de recherche, cette initiative open source réduit les obstacles à la collecte et à l'annotation des données, accélérant ainsi la transition des technologies de perception spatiale de la recherche vers des applications concrètes. À mesure que la robotique et l'intelligence incarnée s'intègrent rapidement dans les environnements physiques, des ensembles de données à grande échelle et de haute qualité, fondés sur des données du monde réel, deviendront une infrastructure essentielle pour stimuler les progrès continus du secteur.