Ant Forest LingBot presenta un conjunto de datos de código abierto de 2,7 TB con 2 millones de muestras reales captadas por 6 cámaras

El 31 de marzo, Ant Lingbo Technology publicó oficialmente en código abierto el conjunto de datos RGB-D a gran escala LingBot-Depth-Dataset. Esta colección contiene 3 millones de pares de muestras de alta calidad, de los cuales 2 millones se han capturado en entornos del mundo real y 1 millón se ha generado sintéticamente. Con un total de 2,71 TB, abarca datos de seis cámaras de profundidad convencionales, lo que lo convierte en el mayor conjunto de datos RGB-D de código abierto basado principalmente en escenas reales. Este lanzamiento proporciona datos más ricos y realistas para avanzar en la investigación sobre inteligencia incorporada, percepción espacial y visión 3D.

(Imagen: Una muestra del LingBot-Depth-Dataset. De arriba abajo: la imagen RGB, el mapa de profundidad sin procesar del sensor y el mapa de profundidad de referencia. El conjunto de datos proporciona información de profundidad tanto sin procesar como de referencia, lo que ofrece un sólido apoyo para el entrenamiento y la evaluación de modelos en condiciones del mundo real.)

Los conjuntos de datos de profundidad disponibles públicamente se han enfrentado durante mucho tiempo a retos como una escala limitada, una cobertura inadecuada de escenas del mundo real y la dependencia de un único tipo de hardware. Muchos conjuntos de datos son en gran medida sintéticos, lo que presenta importantes lagunas en comparación con los datos de sensores reales en términos de patrones de ruido, huecos de profundidad y representación de materiales, lo que dificulta el despliegue práctico de los modelos entrenados.

El conjunto de datos LingBot-Depth-Dataset aborda eficazmente esta brecha de datos en la percepción espacial al proporcionar capturas de escenas reales a gran escala. Cada muestra incluye una imagen RGB, un mapa de profundidad sin procesar del sensor y un mapa de profundidad de referencia correspondiente, lo que la hace directamente aplicable para el entrenamiento y la evaluación de modelos de estimación y completación de profundidad. Es compatible con seis cámaras de profundidad populares —Orbbec 335, 335L e Intel RealSense D405, D415, D435, D455—, lo que facilita una mejor generalización y evaluación de los modelos en diversos dispositivos y escenarios.

El modelo de percepción espacial de alta precisión de Ant Lingbo, LingBot-Depth, que ya se había publicado como código abierto, se entrenó utilizando este conjunto de datos como base. En comparación con métodos habituales del sector como PromptDA y PriorDA, LingBot-Depth reduce el error de predicción de profundidad en más de un 70 % en escenas de interiores y en aproximadamente un 47 % en tareas de completado de profundidad dispersa. Una vez implementado, este modelo permite a las cámaras de profundidad comerciales generar mapas de profundidad más completos, fluidos y nítidos en condiciones difíciles, como cristal transparente, superficies reflectantes y contraluz, todo ello sin modificaciones de hardware. En determinados escenarios, su rendimiento rivaliza con el de las cámaras de profundidad de gama alta de grado industrial.

Para las instituciones académicas y de investigación, esta iniciativa de código abierto reduce las barreras a la recopilación y anotación de datos, acelerando la transición de las tecnologías de percepción espacial de la investigación a la aplicación en el mundo real. A medida que la robótica y la inteligencia incorporada se integran rápidamente en los entornos físicos, los conjuntos de datos a gran escala y de alta calidad basados en datos del mundo real se convertirán en una infraestructura esencial para impulsar el progreso continuo de la industria.