Fabricación
Lightwheel acelera el desarrollo de la IA física con modelos de simulación y de base de NVIDIA
Objetivo
Lightwheel, un proveedor de soluciones robóticas centradas en la simulación, aborda dos barreras críticas de la IA física: la escasez de datos de la costosa recopilación de datos en el mundo real y la brecha de simulación a realidad, en la que las políticas entrenadas en simulación no logran traducirse al hardware físico. Para ayudar a los fabricantes de robots a superar estos desafíos, Lightwheel aprovechó NVIDIA Isaac Sim™ e Isaac Lab, las bibliotecas NVIDIA Omniverse™ y el modelo de base de visión-lenguaje-acción Isaac GR00T N1.5 para crear la plataforma de simulación Lightwheel, un flujo de trabajo centrado en la simulación que cierra la brecha entre la investigación y la implementación robótica en el mundo real.
Cliente
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Partner
Lightwheel
Caso de uso
Robótica
Productos
Principales conclusiones
- Ciclos de desarrollo acelerados, que reducen el entrenamiento robótico de semanas o meses a bucles rápidos e iterativos a través de flujos de trabajo basados en la simulación
- Relación de datos simulados a reales 100:1, eliminando la costosa recopilación de datos reales mientras se mantienen entornos de entrenamiento físicamente realistas
- Despliegue exitoso de modelos de base GR00T N1.5 en la fábrica de automóviles en el entorno de producción en vivo de Geely con robots humanoides Unitree H1
- Soluciones de varios sectores escalables que sirven a clientes importantes, incluidos AgiBot, ByteDance y Figure en aplicaciones de robótica y automatización
- Impulsada por OpenUSD, la plataforma de simulación Lightwheel ofrece una canalización completa de IA integrada, desde la generación de activos SimReady hasta la simulación basada en la nube y la recopilación de datos de teleoperación en realidad virtual.
La escasez de datos y la brecha entre simulación y realidad
El sector de la IA y la robótica integradas se enfrenta a dos barreras fundamentales: la escasez de datos y la brecha entre simulación y realidad. La recopilación de datos reales sigue siendo lenta y costosa, lo que limita la velocidad de desarrollo y los conjuntos de datos de entrenamiento necesarios para sistemas autónomos inteligentes. La brecha entre simulación y realidad presenta un desafío igualmente importante, ya que las políticas de IA entrenadas en entornos de simulación no se traducen en un rendimiento fiable en hardware físico.
Para los sectores, desarrolladores e investigadores de robótica que implementan sistemas autónomos en la fabricación, la sanidad, la logística y la agricultura, estos desafíos crean limitaciones operativas sustanciales. Los enfoques tradicionales requieren una extensa creación de prototipos físicos, costosas pruebas reales y una recopilación de datos que lleva mucho tiempo, lo que limita gravemente la velocidad de la innovación y aumenta los costes de desarrollo, a la vez que restringe la implementación de sistemas avanzados de IA en aplicaciones prácticas.
Lightwheel
Creación de una plataforma centrada en la simulación
Para superar estos desafíos, Lightwheel ha desarrollado la plataforma de simulación Lightwheel, una solución integral basada en Isaac Sim, Isaac Lab y las bibliotecas NVIDIA Omniverse que aborda el desarrollo de IA integrada a través de tres componentes principales.
Activos Lightwheel SimReady y base de simulación
Los activos SimReady de Lightwheel están diseñados para la física del mundo real y cuentan con una geometría precisa y propiedades físicas validadas. Estos activos permiten a los usuarios ensamblar rápidamente gemelos digitales precisos, acelerando los flujos de trabajo para la recopilación de datos de teleoperación y el aprendizaje de refuerzo. Al contar con compatibilidad integrada para el formato Universal Scene Description (USD) y MJCF, los equipos pueden integrar sin problemas los activos en Isaac Sim, lo que permite acceder a entornos de simulación robustos e interoperables.
Al aprovechar OpenUSD, Lightwheel crea simulaciones de alta calidad y físicamente precisas para impulsar la IA física moderna a escala. Lightwheel utiliza NVIDIA USD Search para agilizar el descubrimiento de activos, lo que facilita la localización de los activos SimReady adecuados para cada tarea de simulación y ensamblaje de situaciones en cuestión de minutos. Esta flexibilidad permite a los equipos acelerar el desarrollo en su entorno de simulación preferido. La base de esta biblioteca de activos es el marco de simulación de Lightwheel, que integra perfectamente Isaac Sim.
Teleoperación avanzada y generación de datos
Lightwheel permite la recopilación de datos de teleoperación de alta calidad a través de cascos de realidad virtual (Apple Vision Pro, Meta Quest), Space Mouse y soluciones de exoesqueleto con una sólida garantía de calidad. La plataforma combina MimicGen y DexMimicGen con entornos, Isaac Sim y activos SimReady de Lightwheel para generalizar los datos de simulación teleoperados, escalando el valor de los datos sintéticos de 100 a 1000 veces.
Para generar este diverso conjunto de datos de entrenamiento, los operadores controlan robots humanoides de Unitree H1 simulados a través de tareas industriales complejas, incluida la manipulación de componentes cilíndricos con Dex Hand y la coordinación de dos brazos para el levantamiento de bandejas pesadas en entornos automotrices
Integración de GR00T N1.5 y garantía de calidad
Al aprovechar el modelo de base de visión-lenguaje-acción (VLA) GR00T N1.5, Lightwheel ha perfeccionado el modelo con datos sintéticos generados por simulación a partir de sus entornos SimReady. Estos datos incluían imágenes RGB, estados conjuntos, descripciones de tareas generadas por GPT y metadatos de escenas. Este proceso de entrenamiento sólido dio como resultado un rendimiento impresionante en la fase posterior, validando la efectividad de las canalizaciones basadas en simulación para la IA incorporada.
La plataforma de simulación Lightwheel aplica una rigurosa garantía de calidad en dos fases: validación automatizada para el realismo visual e integridad de las anotaciones, seguida de una revisión manual para el comportamiento realista bajo restricciones físicas.
Para la implementación automotriz de Geely, el equipo adaptó aún más GR00T N1.5 a la morfología específica del robot Unitree H1, personalizando el planificador de lenguaje de visión con indicaciones optimizadas de fábrica. Utilizando las técnicas de aumento de datos de Isaac Sim y DexMimicGen, ampliaron la diversidad de entrenamiento en una variedad de iluminación, materiales y ubicaciones de objetos, lo que permitió un rendimiento fiable en condiciones dinámicas de fábrica.
Durante la creación de prototipos, el sistema se ejecuta en las GPU NVIDIA GeForce RTX™ 4090, lo que proporciona capacidad de computación para la adaptación de la incorporación y la optimización de tareas antes de la implementación.
Lightwheel
Entrega de IA incorporada a la industria
La plataforma de simulación de Lightwheel con tecnología de NVIDIA ofrece mejoras transformadoras relacionadas con la velocidad de desarrollo, el éxito de la implementación y el rendimiento en el mundo real, estableciendo nuevos puntos de referencia para el desarrollo de la IA integrada en aplicaciones industriales.
Desarrollo acelerado y eficiencia de costes
El enfoque basado en la simulación redujo los ciclos de desarrollo de meses a semanas al permitir una iteración rápida en entornos virtuales. La relación de datos simulados a reales de 100:1 eliminó la costosa recopilación de datos reales, al mismo tiempo que mantenía la precisión física necesaria para una transferencia fiable de datos simulados a reales, generando datos sintéticos escalables y de alta calidad con una intervención manual mínima.
Implementación industrial en el mundo real
Lightwheel implementó con éxito los modelos de base GR00T N1.5 en los robots humanoides Unitree H1 en la fábrica de automóviles de Geely. Los robots realizan de forma autónoma el transporte de componentes entre estaciones de trabajo, la colocación precisa de piezas en bandejas de inspección y la manipulación coordinada de dos brazos para componentes pesados, manteniendo el equilibrio en entornos dinámicos con trabajadores humanos. Estas implementaciones muestran un progreso significativo hacia una mayor autonomía en la fábrica capaz de escalarse a diversos flujos de trabajo.
Impacto en varios sectores y desarrollo futuro
Los principales partners tecnológicos, como Google DeepMind, Figure, AgiBot, ByteDance, Geely y BYD, aprovechan los activos de la plataforma de simulación Lightwheel y los conjuntos de datos sintéticos para mejorar el rendimiento de la IA incorporada en aplicaciones de robótica y automatización. La integración de la plataforma con el ecosistema más amplio de NVIDIA completa la cadena de servicios de extremo a extremo para la generación de datos sintéticos, al tiempo que abre nuevas fuentes de ingresos de la industria de la robótica.
El desarrollo continuo se centra en ampliar las capacidades de la plataforma para el modelado de objetos deformables, crear activos SimReady para tareas de uso general y ampliar las canalizaciones de generación de datos aprovechando GR00T N1.5 como demostrador semiautónomo para las primeras demostraciones de tareas a escala.
Conversión de la investigación avanzada en soluciones implementables
La colaboración de Lightwheel con NVIDIA demuestra cómo las plataformas de simulación avanzadas y los modelos de base pueden transformar el desarrollo de la IA incorporada, convirtiendo la investigación teórica en soluciones robóticas prácticas e implementables. Su exitosa implementación de robots humanoides con tecnología GR00T N1.5 en entornos de fabricación automotriz en directo muestra cómo las estrategias basadas en la simulación pueden ofrecer una automatización potente y escalable en la fábrica.
Este enfoque integral muestra cómo las empresas pueden aprovechar el ecosistema de IA de NVIDIA para superar las barreras tradicionales en el desarrollo de la robótica, logrando una velocidad, una eficiencia de costes y un éxito de implementación sin precedentes en industrias que van desde la fabricación de automóviles hasta el desarrollo de robots de próxima generación.
«Al aprovechar las tecnologías de IA de NVIDIA, hemos ajustado con éxito nuestro modelo de base de visión-lenguaje-acción con nuestros propios datos sintéticos y reales de alta calidad y los hemos implementado en robots reales. Con GR00T N1.5, permitimos a los robots entender instrucciones complejas y realizar tareas versátiles en entornos dinámicos y reales, capacidades que no eran posibles antes”.
Jay Yang
Arquitecto jefe
Descubra cómo NVIDIA Isaac Sim puede acelerar su desarrollo de robótica de simulación a realidad con entornos de simulación fotorrealistas.