Generación de Datos Sintéticos (SDG)

Los modelos de IA física permiten a los sistemas autónomos percibir, comprender, interactuar con el mundo físico y explorarlo. Los datos sintéticos son críticos para el entrenamiento y las pruebas de modelos de IA física.

Los world foundation models (WFM) utilizan datos de entrada diversos, como texto, imágenes, videos e información de movimiento, para generar y simular mundos virtuales con una precisión notable.   

Los WFM se caracterizan por sus capacidades de generalización excepcionales, que requieren un ajuste mínimo para varias aplicaciones. Sirven como motores cognitivos para los robots y los vehículos autónomos, aprovechando su comprensión integral de la dinámica del mundo real. Para lograr este nivel de sofisticación, los WFM dependen de grandes cantidades de datos de entrenamiento. 

El desarrollo de los WFM se beneficia significativamente de la generación de datos sintéticos infinitos a través de simulaciones físicamente precisas. Este enfoque no solo acelera el proceso de entrenamiento de los modelos, sino que también mejora la capacidad de los modelos para generalizar en diversos escenarios. Las técnicas de aleatorización de dominios aumentan aún más este proceso al permitir la manipulación de numerosos parámetros, como la iluminación, el fondo, el color, la ubicación y el entorno, variaciones que sería casi imposible capturar de forma integral solo a partir de datos del mundo real. 

El aprendizaje de robots es un conjunto de algoritmos y metodologías que ayudan a un robot a aprender nuevas habilidades, como la manipulación, la locomoción y la clasificación, en un entorno simulado o del mundo real. El aprendizaje por refuerzo, el aprendizaje por imitación y la política de difusión son las metodologías clave que se aplican al entrenamiento de robots.  

Una habilidad importante para los robots es la manipulación: recoger cosas, clasificarlas y ponerlas juntas, como se ve en las fábricas. Las demostraciones humanas del mundo real generalmente se usan como entradas para el entrenamiento. Sin embargo, recopilar un conjunto grande y diverso de datos es bastante costoso. Con un puñado de demostraciones humanas, los desarrolladores pueden generar movimientos sintéticos en entornos simulados, lo que acelera el proceso de entrenamiento de los robots.

Para lograr esto, los usuarios primero pueden emplear GR00T-Teleop para recopilar un pequeño conjunto de demostraciones humanas con Apple Vision Pro (AVP). Las demostraciones grabadas se usan para generar un gran conjunto de movimientos sintéticos con GR00T-Mimic. A continuación, usan GR00T-Gen, basado en NVIDIA Omniverse™ y NVIDIA Cosmos™, para la aleatorización de dominios y el aumento de 3D a real para generar un conjunto exponencialmente grande y diverso de datos de entrenamiento para el aprendizaje por imitación. 

El software en bucle (SIL) es una etapa de prueba crucial para los robots y los vehículos autónomos impulsados por IA, donde el software de control se prueba en un entorno simulado en lugar de en hardware real.

Los datos sintéticos generados a partir de la simulación garantizan una elaboración de modelos de la física del mundo real precisa, incluidas las entradas de sensores, la dinámica de accionadores e interacciones ambientales. Esto también proporciona una forma de capturar escenarios raros que es peligroso recopilar en el mundo real. De este modo se garantiza que la pila de software del robot en la simulación se comporte como lo haría en el robot físico, lo que permite pruebas y validación exhaustivas sin la necesidad de hardware físico.  

Mega es un Omniverse Blueprint para desarrollar, probar y optimizar flotas de IA física y robots a escala en un gemelo digital antes de la implementación en instalaciones del mundo real.

Estos robots simulados pueden llevar a cabo tareas mediante la percepción y el razonamiento en entornos. Son capaces de planificar los próximos movimientos y luego realizar acciones que se simulan en el gemelo digital. Los datos sintéticos de estas simulaciones se envían al cerebro de los robots. El cerebro de los robots percibe los resultados y decide la próxima acción, y este ciclo continúa con Mega haciendo un seguimiento preciso del estado y la posición de todos los recursos en el gemelo digital.

Los modelos generativos se pueden usar para iniciar y aumentar los procesos de generación de datos sintéticos. Los modelos de texto a 3D permiten la creación de recursos 3D para poblar una escena de simulación 3D. Los modelos de IA generativa de texto a imagen también se pueden usar para modificar y aumentar imágenes existentes, ya sea generadas a partir de simulaciones o recopiladas en el mundo real a través de restauraciones procedimientales (inpainting o outpainting).

Los modelos de IA generativa de texto a texto, como Evian 2 405B y Nemotron-4 340B, se pueden usar para generar datos sintéticos y desarrollar potentes LLM para el área de la salud, las finanzas, la seguridad cibernética, el comercio minorista y las telecomunicaciones. 

Evian 2 405B y Nemotron-4 340B proporcionan una licencia abierta, lo que les brinda a los desarrolladores los derechos para poseer y usar los datos generados en sus aplicaciones académicas y comerciales.