Generación de datos sintéticos para la IA física
Acelerar el desarrollo de flujos de trabajo de IA física.
Cargas de trabajo
Simulación/modelado/diseño
Robótica
IA generativa
Sectores
Todos los sectores
Objetivo comercial
Innovación
Productos
Descripción
¿Por qué usar datos sintéticos?
El desarrollo de modelos de IA física requiere conjuntos de datos diversos, de alta calidad y cuidadosamente etiquetados para lograr la precisión y el rendimiento deseados. En muchos casos, hay pocos o ningún dato, estos están restringidos o no están disponibles. La recopilación y el etiquetado de estos datos del mundo real requieren mucho tiempo, son costosos y dificultan el desarrollo de modelos de IA física de alto rendimiento. A medida que aumentamos la calidad de computación y modelos, el cuello de botella se traslada al entrenamiento de modelos avanzados con datos diversos y de alta calidad.
Los datos sintéticos, generados a partir de una simulación por ordenador, modelos básicos de mundo, agentes de IA o una combinación de estos, pueden ayudar a abordar este desafío. Los datos sintéticos pueden incluir texto, vídeos e imágenes 2D o 3D en espectros visuales y no visuales, que se pueden utilizar junto con datos reales para entrenar modelos de IA física multimodal. Con las herramientas de simulación y generación de datos listas para agentes, los desarrolladores pueden escalar los flujos de trabajo de entrenamiento, reducir costes y mejorar el rendimiento de modelos bajo supervisión.
Velocidad de entrenamiento de modelos de IA
Supere la brecha de datos y acelere el desarrollo de modelos de IA con las habilidades de agentes, al tiempo que reduce el coste general de adquisición y etiquetado de datos necesarios para el entrenamiento de modelos.
Privacidad y seguridad
Aborda los problemas de privacidad y reduce el sesgo mediante la generación de diversos conjuntos de datos sintéticos para representar el mundo real.
Precisión
Crea modelos de IA generalizados y altamente precisos entrenando con datos diversos que incluyen casos inusuales, pero cruciales, que de otra manera son imposibles de recopilar.
Escalable
Genere datos de forma procedimental con canalizaciones automatizadas que se adaptan a su caso de uso en diversos sectores, como fabricación, automoción, robótica y mucho más.
Enlaces rápidos
Datos sintéticos para el desarrollo de IA física
Los modelos de IA física permiten a los sistemas autónomos percibir, comprender, interactuar con el mundo físico y navegar por él. Los datos sintéticos son fundamentales para entrenar y probar modelos de IA física.
Modelos mundiales
Los modelos mundiales utilizan diversos datos de entrada, incluidos texto, imágenes, vídeos e información de movimiento, para generar y simular mundos virtuales con una precisión extraordinaria.
Los modelos mundiales se caracterizan por sus excepcionales capacidades de generalización, que requieren un ajuste mínimo para diversas aplicaciones. Sirven como motores cognitivos para robots y vehículos autónomos, aprovechando su comprensión integral de la dinámica del mundo real. Para lograr este nivel de sofisticación, los modelos mundiales dependen de grandes cantidades de datos de entrenamiento.
El desarrollo de modelos mundiales se beneficia significativamente de las habilidades de agentes que ayudan a automatizar los flujos de trabajo de generación de datos sintéticos fragmentados. Los agentes pueden acceder a herramientas de simulación, modelos abiertos y bibliotecas para generar datos sintéticos físicamente precisos, crear casos límite y aplicar la aleatorización de dominios a iluminación, fondos, colores, ubicaciones y entornos. Esto ayuda a los equipos a producir datos de entrenamiento diversos con mayor rapidez, mejorar la generalización de modelos, acelerar el entrenamiento de modelos y escalar el desarrollo más allá de lo que es práctico solo con datos del mundo real.
Entrenamiento de políticas de robots
El aprendizaje robótico abarca una gama de algoritmos y metodologías que permiten a un robot adquirir nuevas habilidades, como manipulación, locomoción y clasificación, en entornos simulados o reales. El aprendizaje por refuerzo, el aprendizaje de imitación y la política de difusión son las metodologías clave aplicadas para entrenar robots.
Una habilidad importante para los robots es la manipulación, es decir, recoger, clasificar y montar artículos, algo similar a lo que se ve en las fábricas. Las demostraciones humanas del mundo real se utilizan normalmente como entrada para el entrenamiento. Sin embargo, la recopilación de un conjunto de datos de gran tamaño y diverso resulta bastante costosa.
Para superar este desafío, los desarrolladores pueden utilizar el blueprint NVIDIA Isaac GR00T-Dreams, basado en NVIDIA Cosmos, para generar conjuntos de datos de movimiento sintético grandes y diversos para entrenamiento.
El blueprint de NVIDIA Isaac GR00T-Dreams genera grandes cantidades de datos de trayectoria sintéticos utilizando Cosmos a partir de una única imagen e instrucciones en lenguaje natural. Esto permite a los robots aprender nuevas tareas en entornos desconocidos sin necesidad de datos específicos de teleoperación.
El blueprint de NVIDIA Isaac GR00T-Mimic genera enormes cantidades de datos de trayectoria sintéticos a partir de tan solo un puñado de demostraciones humanas. Esto permite a los robots mejorar su capacidad de manipulación en tareas y entornos conocidos.
Estos conjuntos de datos se pueden utilizar para entrenar los modelos de base abiertos Isaac GR00T dentro de Isaac Lab, lo que permite un razonamiento humanoide generalizado y una adquisición sólida de habilidades.
Con NVIDIA Cosmos 3, los desarrolladores pueden empezar con una base sólida para el aprendizaje de robots y especializarse mediante el post-entrenamiento para sus encarnaciones, entornos y tareas.
Pruebas y validación
Las pruebas de software in loop (SIL) son una etapa crucial para los robots y los vehículos autónomos con tecnología de IA, en las que el software de control se evalúa en un entorno simulado en lugar de en hardware real.
Los datos sintéticos generados a partir de simulación garantizan un modelado preciso de la física del mundo real, incluidas las entradas de sensores, la dinámica de actuadores y las interacciones medioambientales. Esto también proporciona una forma de capturar escenarios raros que son peligrosos de recopilar en el mundo real. Esto garantiza que la pila de software del robot en la simulación se comporte como si fuera el robot físico, lo que permite pruebas y validación exhaustivas sin necesidad de hardware físico.
Los datos sintéticos de estas simulaciones se vuelven a introducir en el cerebro de los robots. Los cerebros de los robots perciben los resultados y deciden la siguiente acción. Este ciclo continúa con el seguimiento preciso de Mega del estado y la posición de todos los activos en el gemelo digital.
Implementación técnica
Generación de datos sintéticos para la IA física
- Creación de escenas: una escena 3D integral sirve de base e incorpora activos esenciales, como estantes, cajas y pallets para almacenes, así como árboles, carreteras y edificios para entornos exteriores. Los desarrolladores ya pueden utilizar NVIDIA NuRec, un conjunto de API y bibliotecas, para generar simulaciones neuronales a partir de datos reales y acelerar el proceso de creación de escenas. Estos entornos se pueden poblar y mejorar dinámicamente utilizando los microservicios NVIDIA NIM™ para Universal Scene Description (OpenUSD), lo que permite la adición sin problemas de diversos objetos y la integración de fondos HDRI de 360°. En algunos casos, puede que no sea necesaria una escena 3D. GR00T-Dreams aprovecha las capacidades de (WFMs) para generar nuevos entornos.
- Aleatorización de dominios: USD Code NIM es un LLM de vanguardia especializado en OpenUSD para realizar la aleatorización de dominios. Esta potente herramienta no solo responde a consultas relacionadas con OpenUSD, sino que también genera código USD Python para realizar cambios en la escena, agilizando el proceso de alterar programáticamente varios parámetros de escena dentro de aplicaciones de gemelos digitales basadas en OpenUSD que aprovechan las bibliotecas de NVIDIA Omniverse™.
- Generación de datos: el tercer paso implica la exportación del conjunto inicial de imágenes anotadas. Las bibliotecas de Omniverse ofrecen una amplia gama de funcionalidades de anotación preconfiguradas, entre ellas cuadros de delimitación 2D, segmentación semántica, mapas de profundidad, normales de superficie y muchas más. La elección del formato de salida, como los cuadros de delimitación o las animaciones, depende de los requisitos del modelo o del caso de uso específicos.
- Aumento y evaluación de datos:: en la siguiente etapa, los desarrolladores pueden utilizar una habilidad de aumento de vídeo, con tecnología del modelo fundacional de mundo de NVIDIA Cosmos y NVIDIA Nemotron, para aumentar aún más la imagen de 3D a real. Esto aporta el fotorrealismo necesario a las imágenes generadas a través de simples indicaciones de usuario. El agente de aumento de vídeo también puede ayudar a identificar artefactos e imprecisiones a través de una puntuación automatizada y coherente de resultados generativos, para que los equipos puedan utilizar datos sintéticos con confianza antes de arrancar modelos de IA.
Enlaces rápidos
Empezar
Cree su propia canalización de SDG para simulaciones robóticas, inspección industrial y otros casos de uso de IA física con NVIDIA Isaac Sim™.
RTX PRO Server, la mejor plataforma para IA industrial y física
NVIDIA RTX PRO Server acelera todas las cargas de trabajo de digitalización industrial, simulación de robots y generación de datos sintéticos.
Últimas noticias sobre datos sintéticos
