Generación de Datos Sintéticos para IA Física

Los modelos de IA física permiten a los sistemas autónomos percibir, comprender, interactuar con el mundo físico y explorarlo. Los datos sintéticos son críticos para el entrenamiento y las pruebas de modelos de IA física.

Los modelos del mundo utilizan diversos datos de entrada, como texto, imágenes, videos e información de movimiento, para generar y simular mundos virtuales con una precisión notable.   

Los modelos del mundo se caracterizan por sus capacidades de generalización excepcionales, que requieren un ajuste fino mínimo para varias aplicaciones. Sirven como motores cognitivos para los robots y los vehículos autónomos, aprovechando su comprensión integral de la dinámica del mundo real. Para lograr este nivel de sofisticación, los modelos del mundo dependen de grandes cantidades de datos de entrenamiento.

El desarrollo de modelos del mundo se beneficia significativamente de la generación de datos sintéticos infinitos a través de simulaciones físicamente precisas. Este enfoque no solo acelera el proceso de entrenamiento de modelos, sino que también mejora la capacidad de un modelo para generalizar en diversos escenarios. Las técnicas de aleatorización de dominios aumentan aún más este proceso al permitir la manipulación de numerosos parámetros, como la iluminación, el fondo, el color, la ubicación y el entorno, variaciones que serían casi imposibles de capturar de forma integral solo con datos del mundo real.

El aprendizaje robótico abarca una gama de algoritmos y metodologías que le permiten a un robot adquirir nuevas habilidades, como la manipulación, la locomoción y la clasificación, en entornos simulados o en el mundo real. El aprendizaje por refuerzo, el aprendizaje por imitación y la política de difusión son las metodologías clave aplicadas para entrenar robots.

Una habilidad importante para los robots es la manipulación (recoger, clasificar y ensamblar artículos), algo similar a lo que se ve en las fábricas. Las demostraciones humanas del mundo real generalmente se usan como entradas para el entrenamiento. Sin embargo, recopilar un conjunto de datos grande y diverso es bastante costoso.

Para superar este desafío, los desarrolladores pueden utilizar los blueprints NVIDIA Isaac GR00T-Mimic y GR00T-Dreams, basados en NVIDIA Cosmos™, para generar conjuntos de datos de movimiento sintético grandes y diversos para el entrenamiento.

El blueprint NVIDIA Isaac GR00T-Dreams genera grandes cantidades de datos de trayectoria sintéticos mediante Cosmos, generados a partir de una sola imagen e instrucciones de lenguaje. Esto les permite a los robots aprender nuevas tareas en entornos desconocidos sin necesidad de datos específicos de teleoperación.

El blueprint NVIDIA Isaac GR00T-Mimic genera grandes cantidades de datos de trayectoria sintéticos a partir solamente de un puñado de demostraciones humanas. Esto les permite a los robots mejorar su manipulación en una tarea y un entorno conocidos.

Luego, estos conjuntos de datos se pueden usar para entrenar los modelos fundacionales abiertos de Isaac GR00T dentro de Isaac Lab, lo que permite un razonamiento humanoide generalizado y una adquisición de habilidades sólida.

Las pruebas de software en bucle (SIL) son una etapa crucial para los robots y los vehículos autónomos impulsados por IA, donde el software de control se evalúa en un entorno simulado en lugar de en hardware real.

Los datos sintéticos generados a partir de la simulación garantizan una elaboración de modelos de la física del mundo real precisa, incluidas las entradas de sensores, la dinámica de accionadores e interacciones ambientales. Esto también proporciona una forma de capturar escenarios raros que es peligroso recopilar en el mundo real. De este modo se garantiza que la pila de software del robot en la simulación se comporte como lo haría en el robot físico, lo que permite pruebas y validación exhaustivas sin la necesidad de hardware físico.  

Los datos sintéticos de estas simulaciones se reenvían a los cerebros de robots. Los cerebros de los robots perciben los resultados y deciden la próxima acción. Este ciclo continúa con un seguimiento preciso por parte de Mega del estado y la posición de todos los recursos en el gemelo digital.