Generación de datos sintéticos para la IA física

Los modelos de IA física permiten a los sistemas autónomos percibir, comprender, interactuar con el mundo físico y navegar por él. Los datos sintéticos son fundamentales para entrenar y probar modelos de IA física.

Los modelos mundiales utilizan diversos datos de entrada, incluidos texto, imágenes, vídeos e información de movimiento, para generar y simular mundos virtuales con una precisión extraordinaria.   

Los modelos mundiales se caracterizan por sus excepcionales capacidades de generalización, que requieren un ajuste mínimo para diversas aplicaciones. Sirven como motores cognitivos para robots y vehículos autónomos, aprovechando su comprensión integral de la dinámica del mundo real. Para lograr este nivel de sofisticación, los modelos mundiales dependen de grandes cantidades de datos de entrenamiento. 

El desarrollo de modelos mundiales se beneficia significativamente de la generación de datos sintéticos infinitos a través de simulaciones físicamente precisas. Este enfoque no solo acelera el proceso de entrenamiento de modelos, sino que también mejora la capacidad de generalización de un modelo en diversos escenarios. Las técnicas de aleatorización de dominios refuerzan aún más este proceso al permitir la manipulación de numerosos parámetros, como iluminación, fondo, color, ubicación y entorno, variaciones que serían casi imposibles de capturar de forma exhaustiva únicamente con datos reales.

El aprendizaje robótico abarca una gama de algoritmos y metodologías que permiten a un robot adquirir nuevas habilidades, como manipulación, locomoción y clasificación, en entornos simulados o reales. El aprendizaje por refuerzo, el aprendizaje de imitación y la política de difusión son las metodologías clave aplicadas para entrenar robots.

Una habilidad importante para los robots es la manipulación, es decir, recoger, clasificar y montar artículos, algo similar a lo que se ve en las fábricas. Las demostraciones humanas del mundo real se utilizan normalmente como entrada para el entrenamiento. Sin embargo, la recopilación de un conjunto de datos de gran tamaño y diverso resulta bastante costosa.

Para superar este desafío, los desarrolladores pueden utilizar los blueprints NVIDIA Isaac GR00T-Mimic y GR00T-Dreams, basados en NVIDIA Cosmos™, para generar conjuntos de datos de movimiento sintéticos de gran tamaño y diversos para el entrenamiento.

El blueprint de NVIDIA Isaac GR00T-Dreams genera grandes cantidades de datos de trayectoria sintéticos utilizando Cosmos a partir de una única imagen e instrucciones en lenguaje natural. Esto permite a los robots aprender nuevas tareas en entornos desconocidos sin necesidad de datos específicos de teleoperación.

El blueprint de NVIDIA Isaac GR00T-Mimic genera enormes cantidades de datos de trayectoria sintéticos a partir de tan solo un puñado de demostraciones humanas. Esto permite a los robots mejorar su capacidad de manipulación en tareas y entornos conocidos.

Estos conjuntos de datos se pueden utilizar para entrenar los modelos de base abiertos Isaac GR00T dentro de Isaac Lab, lo que permite un razonamiento humanoide generalizado y una adquisición sólida de habilidades.

Las pruebas de software in loop (SIL) son una etapa crucial para los robots y los vehículos autónomos con tecnología de IA, en las que el software de control se evalúa en un entorno simulado en lugar de en hardware real.

Los datos sintéticos generados a partir de simulación garantizan un modelado preciso de la física del mundo real, incluidas las entradas de sensores, la dinámica de actuadores y las interacciones medioambientales. Esto también proporciona una forma de capturar escenarios raros que son peligrosos de recopilar en el mundo real. Esto garantiza que la pila de software del robot en la simulación se comporte como si fuera el robot físico, lo que permite pruebas y validación exhaustivas sin necesidad de hardware físico.  

Los datos sintéticos de estas simulaciones se vuelven a introducir en el cerebro de los robots. Los cerebros de los robots perciben los resultados y deciden la siguiente acción. Este ciclo continúa con el seguimiento preciso de Mega del estado y la posición de todos los activos en el gemelo digital.