Lightwheel acelera el desarrollo de la IA física con modelos de simulación y de base de NVIDIA

Para superar estos desafíos, Lightwheel desarrolló la plataforma de simulación Lightwheel, una solución integral basada en NVIDIA Omniverse,  Isaac Sim e Isaac Lab, que aborda el desarrollo de IA incorporada a través de tres componentes centrales.

Activos Lightwheel SimReady y base de simulación

Lightwheel ofrece activos SimReady de alta calidad diseñados específicamente para la simulación robótica avanzada. Diseñados con una geometría y propiedades físicas precisas, estos activos están optimizados para casos de uso que van desde la recopilación de datos de teleoperación al aprendizaje de refuerzo, asegurando que no solo estén listos para la física, sino también para la teleoperación y el aprendizaje de robots.

Para maximizar la compatibilidad, los activos SimReady están disponibles en formato Universal Scene Description (USD) para Omniverse e Isaac Sim en formato MJCF para MuJoCo. Esta flexibilidad permite a los equipos acelerar el desarrollo en su entorno de simulación preferido. La base de esta biblioteca de activos es el marco de simulación de Lightwheel, que integra perfectamente Isaac Sim.

Teleoperación avanzada y generación de datos

Lightwheel permite la recopilación de datos de teleoperación de alta calidad a través de cascos de realidad virtual (Apple Vision Pro, Meta Quest), Space Mouse y soluciones de exoesqueleto con una sólida garantía de calidad. La plataforma combina MimicGen y DexMimicGen con los activos, entornos e Isaac Sim de SimReady de Lightwheel para generalizar los datos de simulación teleoperados, escalando el valor de los datos sintéticos entre 100 y 1000 veces.

Para generar este conjunto de datos de entrenamiento diverso, los operadores controlan robots humanoides de Unitree H1 simulados a través de tareas industriales complejas, incluida la manipulación de componentes cilíndricos con Dex Hand y la coordinación de dos brazos para el levantamiento de bandejas pesadas en entornos automotrices.

Integración de GR00T N1.5 y garantía de calidad

Al aprovechar el modelo de base GR00T N1.5 de visión-lenguaje-acción (VLA), Lightwheel ajustó el modelo utilizando datos sintéticos generados por simulación de sus entornos SimReady. Estos datos incluían imágenes RGB, estados conjuntos, descripciones de tareas generadas por GPT y metadatos de escenas. Este proceso de entrenamiento sólido dio como resultado un rendimiento impresionante en la fase posterior, validando la efectividad de las canalizaciones basadas en simulación para la IA incorporada.

La plataforma de simulación Lightwheel aplica una rigurosa garantía de calidad en dos fases: validación automatizada para el realismo visual e integridad de las anotaciones, seguida de una revisión manual para el comportamiento realista bajo restricciones físicas.

Para la implementación automotriz de Geely, el equipo adaptó aún más GR00T N1.5 a la morfología específica del robot Unitree H1,  personalizando el planificador de visión-lenguaje con indicaciones optimizadas de fábrica. Utilizando las técnicas de aumento de datos de Isaac Sim y DexMimicGen, ampliaron la diversidad de entrenamiento en una variedad de iluminación, materiales y ubicaciones de objetos, lo que permitió un rendimiento fiable en condiciones dinámicas de fábrica.

Durante la creación de prototipos, el sistema se ejecuta con GPU NVIDIA GeForce RTX™ 4090, proporcionando una buena capacidad de cálculo para la adaptación de la incorporación y la optimización de tareas antes de la implementación

La plataforma de simulación de Lightwheel con tecnología NVIDIA ofrece mejoras transformadoras en la velocidad de desarrollo, el éxito de la implementación y el rendimiento del mundo real, estableciendo nuevos puntos de referencia para el desarrollo de la IA en aplicaciones industriales.

Desarrollo acelerado y eficiencia de costes

El enfoque basado en la simulación redujo los ciclos de desarrollo de meses a semanas al permitir una iteración rápida en entornos virtuales. La relación de datos simulados a reales de 100:1 eliminó la costosa recopilación de datos reales, al mismo tiempo que mantenía la precisión física necesaria para una transferencia fiable de datos simulados a reales, generando datos sintéticos escalables y de alta calidad con una intervención manual mínima.

Implementación industrial real

Lightwheel implementó con éxito los modelos de base GR00T N1.5 en los robots humanoides Unitree H1 en la fábrica de automóviles de Geely. Los robots realizan de forma autónoma el transporte de componentes entre estaciones de trabajo, la colocación precisa de piezas en bandejas de inspección y la manipulación coordinada de dos brazos para componentes pesados, manteniendo el equilibrio en entornos dinámicos con trabajadores humanos. Estas implementaciones muestran un progreso significativo hacia una mayor autonomía en la fábrica capaz de escalarse a diversos flujos de trabajo.

Impacto en varios sectores y desarrollo futuro

Los principales socios tecnológicos, como Google DeepMind, Figure, AgiBot, ByteDance, Geely y BYD, aprovechan los activos de la plataforma de simulación Lightwheel y los conjuntos de datos sintéticos para mejorar el rendimiento de la IA incorporada en aplicaciones de robótica y automatización. La integración de la plataforma con el ecosistema más amplio de NVIDIA completa la cadena de servicios de extremo a extremo para la generación de datos sintéticos, al tiempo que abre nuevas fuentes de ingresos de la industria de la robótica.

El desarrollo continuo se centra en ampliar las capacidades de la plataforma para el modelado de objetos deformables, crear activos SimReady para tareas de uso general y ampliar las canalizaciones de generación de datos aprovechando GR00T N1.5 como demostrador semiautónomo para las primeras demostraciones de tareas a escala.