Manufactura
Lightwheel Acelera el Desarrollo de la IA Física por Medio de la Simulación y los Modelos Base de NVIDIA
Objetivo
Lightwheel, un proveedor de soluciones de robótica que se dedica a la simulación, aborda dos barreras críticas de la IA física: la escasez de datos debido a lo costoso que es recopilarlos en el mundo real, y la brecha entre simulación y realidad, que hace que las políticas entrenadas en simulación no se puedan traducir al hardware físico. Para ayudar a los fabricantes de robots a superar estos desafíos, Lightwheel aprovechó NVIDIA Omniverse™, Isaac Sim™, Isaac™ Lab y el modelo base de visión-lenguaje-acción Isaac GR00T N1.5 para crear la Plataforma de Simulación Lightwheel, un workflow de simulación que cierra la brecha entre la investigación y la implementación de la robótica en el mundo real.
Cliente
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Socio
Lightwheel
Caso de Uso
Robótica
Productos
NVIDIA Isaac
NVIDIA Omniverse
Aprendizajes Clave
- Ciclos de desarrollo acelerados que reducen el entrenamiento robótico de semanas o meses a bucles rápidos e iterativos a través de workflows basados en simulación
- Proporción de datos simulados a reales de 100:1, que elimina la costosa recopilación de datos del mundo real mientras mantiene entornos de entrenamiento físicamente realistas
- Implementación exitosa de modelos base GR00T N1.5 en fábricas automotrices en el entorno de producción en vivo de Geely con robots humanoides Unitree H1
- Soluciones escalables para múltiples industrias que atienden a grandes clientes, como AgiBot, ByteDance y Figure, en aplicaciones de robótica y automatización
- Impulsada por OpenUSD, la Plataforma de Simulación Lightwheel ofrece un pipeline de IA completo que abarca desde la generación de recursos SimReady hasta la simulación y recopilación de datos de teleoperación en realidad virtual, basada en la nube.
La Escasez de Datos y la Brecha entre Simulación y Realidad
La industria de la robótica y la IA incorporada se enfrenta a dos barreras fundamentales: la escasez de datos y la brecha entre simulación y realidad. La recopilación de datos del mundo real sigue siendo lenta y costosa, lo que restringe la velocidad de desarrollo y limita los conjuntos de datos de necesarios para entrenar sistemas autónomos inteligentes. La brecha entre simulación y realidad presenta un desafío igualmente significativo, ya que las políticas de IA entrenadas en entornos de simulación no logran traducirse en un desempeño confiable a nivel de hardware físico.
Para los investigadores, desarrolladores e industrias de robótica que implementan sistemas autónomos en el área de la salud, manufactura, logística y agricultura, estos desafíos crean limitaciones operativas sustanciales. Los enfoques tradicionales requieren una extensa creación de prototipos físicos, costosas pruebas en el mundo real y una recopilación de datos que consume mucho tiempo, lo que limita en gran medida la velocidad de la innovación y aumenta los costos de desarrollo, a la vez que restringe la implementación de sistemas de IA avanzados en aplicaciones prácticas.
Lightwheel
Lightwheel
Creación de una Plataforma Centrada en la Simulación
Para superar estos desafíos, Lightwheel desarrolló la Plataforma de Simulación Lightwheel, una solución integral basada en NVIDIA Omniverse, Isaac Sim e Isaac Lab que aborda el desarrollo de IA a través de tres componentes centrales.
Recursos SimReady y Base de Simulación de Lightwheel
Los recursos SimReady de Lightwheel están diseñados para la física del mundo real, con geometría precisa y propiedades físicas validadas. Estos recursos permiten al usuario ensamblar rápidamente gemelos digitales precisos, lo que acelera los workflows para la recopilación de datos de teleoperación y el aprendizaje por refuerzo. Con compatibilidad integrada para el formato Universal Scene Description (USD) y MJCF, los equipos pueden integrar recursos en Omniverse e Isaac Sim de manera perfecta y fluida, lo que habilita entornos de simulación sólidos e interoperables.
Al aprovechar OpenUSD, Lightwheel crea simulaciones de alta calidad y físicamente precisas para impulsar la IA física moderna a escala. Lightwheel usa NVIDIA USD Search para agilizar el descubrimiento de recursos, lo que facilita la localización de los recursos SimReady correctos para cada tarea de simulación y el ensamblaje de escenas en minutos. Esta flexibilidad permite a los equipos acelerar el desarrollo en sus entornos de simulación preferidos. Esta biblioteca de recursos se basa en el framework de simulación de Lightwheel, que integra Isaac Sim de manera fluida y perfecta.
Teleoperación y Generación de Datos Avanzados
Lightwheel permite la recopilación de datos de teleoperación de alta calidad a través de cascos de realidad virtual (Apple Vision Pro, Meta Quest), Space Mouse y soluciones de exoesqueleto con una sólida garantía de calidad. La plataforma combina MimicGen y DexMimicGen con los recursos y entornos SimReady de Lightwheel, así como con Isaac Sim, para generalizar datos de simulación teleoperados, lo que permite escalar el valor de los datos sintéticos entre 100 y 1000 veces.
Para generar este conjunto de datos de entrenamiento diverso, los operadores controlan robots humanoides Unitree H1 simulados a través de tareas industriales complejas como la manipulación de componentes cilíndricos con Dex Hand y la coordinación de dos brazos para levantar bandejas de gran peso en entornos automotrices.
Integración de GR00T N1.5 y Control de Calidad
Al aprovechar el modelo base de visión-lenguaje-acción (VLA) GR00T N1.5, Lightwheel ajustó el modelo mediante datos sintéticos generados por simulación en sus entornos SimReady. Estos datos incluían imágenes RGB, estados de las articulaciones, descripciones de tareas generadas por GPT y metadatos de escenas. Este sólido proceso de entrenamiento dio como resultado un impresionante desempeño posterior, lo que valida la efectividad de los pipelines basados en simulación para la IA incorporada.
La Plataforma de Simulación Lightwheel aplica un riguroso proceso de control de calidad de dos fases: validación automatizada para lograr realismo visual y asegurar la completitud de las anotaciones, y luego una revisión manual para lograr un comportamiento realista bajo restricciones físicas.
Para la implementación automotriz de Geely, el equipo adaptó GR00T N1.5 aún más a la morfología específica del robot Unitree H1, lo que personalizó el planificador de lenguaje de visión con instrucciones optimizadas de fábrica. Mediante técnicas de aumento de datos de Isaac Sim y DexMimicGen, expandieron la diversidad del entrenamiento en condiciones variadas de iluminación, materiales y ubicaciones de objetos, lo que resultó en un desempeño confiable en condiciones dinámicas de fábrica.
Durante la creación de prototipos, el sistema se ejecuta en GPU NVIDIA GeForce RTX™ 4090, lo cual brinda capacidad de computación para la adaptación física y la optimización de tareas antes de la implementación.
Lightwheel
Llevando la IA Incorporada a la Industria
La Plataforma de Simulación Lightwheel, impulsada por NVIDIA, ofrece mejoras transformadoras en cuanto a la velocidad de desarrollo, el éxito en la implementación y el desempeño en el mundo real, lo que establece nuevos puntos de referencia para el desarrollo de IA incorporada en aplicaciones industriales.
Desarrollo Acelerado y Rentabilidad
El enfoque basado en la simulación redujo los ciclos de desarrollo de meses a semanas al permitir una iteración rápida en entornos virtuales. La relación de datos simulados a reales de 100:1 eliminó la costosa recopilación de datos del mundo real a la vez que mantuvo la precisión física necesaria para una transferencia confiable de la simulación a la realidad, lo que genera datos sintéticos escalables y de alta calidad con una intervención manual mínima.
Implementación Industrial en el Mundo Real
Lightwheel implementó con éxito modelos base GR00T N1.5 en robots humanoides Unitree H1 en la fábrica automotriz operativa de Geely. Los robots realizan de forma autónoma las tareas de transportar componentes entre workstations, colocar con precisión piezas en bandejas de inspección y manipular componentes pesados de manera coordinada con dos brazos, todo ello a la vez que mantienen el equilibrio en entornos dinámicos con trabajadores humanos. Estas implementaciones demuestran un progreso significativo hacia una autonomía sólida y de nivel de fábrica, capaz de escalar a través de diversos workflows.
Impacto en Múltiples Industrias y Desarrollo Futuro
Importantes socios de tecnología como Google DeepMind, Figure, AgiBot, ByteDance, Geely y BYD, aprovechan los recursos y conjuntos de datos sintéticos de la Plataforma de Simulación Lightwheel para mejorar el desempeño de la IA incorporada en aplicaciones de robótica y automatización. La integración de la plataforma con el ecosistema más amplio de NVIDIA completa la cadena de servicios integral para la generación de datos sintéticos a la vez que abre nuevos flujos de ingresos de la industria de la robótica.
El desarrollo en curso se centra en expandir las capacidades de la plataforma para modelar objetos deformables, desarrollar recursos SimReady para tareas de uso general y escalar pipelines de generación de datos mediante el aprovechamiento de GR00T N1.5 como demostrador semiautónomo para realizar demostraciones iniciales de tareas a escala.
Conversión de la Investigación Avanzada en Soluciones Implementables
La colaboración de Lightwheel con NVIDIA demuestra cómo las plataformas y los modelos base de simulación avanzados pueden transformar el desarrollo de IA incorporado, lo que convierte la investigación teórica en soluciones robóticas prácticas e implementables. Su implementación exitosa de robots humanoides impulsados por GR00T N1.5 en entornos de manufactura automotriz en vivo demuestra que las estrategias basadas en simulación pueden ofrecer una automatización sólida y escalable a las fábricas.
Este enfoque integral muestra el modo en que las empresas pueden aprovechar el ecosistema de IA de NVIDIA para superar las barreras tradicionales en el desarrollo de robótica y lograr una velocidad sin precedentes, rentabilidad y una implementación exitosa en todas las industrias, desde la de manufactura automotriz hasta el desarrollo de robots de última generación.
“Al aprovechar las tecnologías de IA de NVIDIA, ajustamos con éxito nuestro modelo base de visión-lenguaje-acción con nuestros propios datos sintéticos y del mundo real de alta calidad, y lo implementamos en robots reales. Con GR00T N1.5, logramos que los robots comprendieran instrucciones complejas y realizaran tareas versátiles en entornos dinámicos y del mundo real, capacidades que antes no eran posibles”.
Jay Yang
, Arquitecto en Jefe
Descubra cómo NVIDIA Isaac Sim puede llevar su propio desarrollo de robótica de la simulación a la realidad con entornos de simulación fotorrealistas.