IA Física
NVIDIA Omniverse
Cree mundos listos para la simulación para la IA física con herramientas listas para agentes para renderizado, física, sensores y validación.
Descripción
¿Qué es NVIDIA Omniverse?
Las bibliotecas de NVIDIA Omniverse™, que forman parte de NVIDIA Agent Toolkit, ofrecen capacidades prediseñadas para crear mundos listos para la simulación que los equipos de IA física pueden utilizar para entrenar, probar y validar sistemas antes de su implementación en el mundo real. Los desarrolladores pueden integrar bibliotecas, API y servicios para la interoperabilidad de datos de OpenUSD, el renderizado, la física, la simulación de sensores, la validación y los flujos de trabajo en tiempo de ejecución en aplicaciones existentes, donde los agentes de IA pueden utilizarlos como herramientas para crear esos mundos más rápido.
Tecnología
Bibliotecas y servicios básicos de Omniverse
Utilice las bibliotecas y servicios de Omniverse para añadir capacidades de simulación de IA física en aplicaciones, herramientas y flujos de trabajo listos para agentes.
Datos de OpenUSD e interoperabilidad
Conecte, organice e intercambie datos de escenas 3D en todas las aplicaciones y canalizaciones de simulación.
- Úselo cuando necesite una estructura de escenas duradera, transferencia de activos o la interoperabilidad de aplicaciones.
- Rol listo para agentes: Los agentes pueden inspeccionar, organizar, convertir y enrutar datos de escenas.
Renderizado y simulación RTX
Previsualice escenas, genere salidas de sensores y produzca pruebas visuales a partir de mundos listos para la simulación.
- Úselo cuando: necesite una comprobación visual previa, salida de sensores sintéticos o revisión de escenas listas para la simulación.
- Rol listo para agentes: los agentes pueden desencadenar renderizados, simular sensores y devolver pruebas visuales.
Simulación física
Simule movimiento, contactos y comportamiento físicamente fundamentado para flujos de trabajo de robótica y gemelos digitales.
- Úselo cuando: necesite probar colisiones, movimiento, dinámica o preparación para la física.
- Rol listo para agentes: los agentes pueden ejecutar comprobaciones de preparación para la física y enrutar problemas para su revisión.
Validación de activos lista para la simulación
Verifique los activos de OpenUSD en función de los requisitos listos para la simulación antes de cualquier entrenamiento posterior, pruebas o implementación.
- Úselo cuando: necesite puertas de aceptación antes de mover activos a flujos de trabajo de simulación de IA física.
- Función lista para agentes: los agentes pueden ejecutar comprobaciones de validación y devolver pruebas de aprobado/fallido.
Opciones iniciales
Elija cómo crear con Omniverse
Empiece con bibliotecas, herramientas listas para agentes, blueprints o flujos de trabajo de muestra, en función de lo que desee crear.
Casos de uso
Cómo los equipos utilizan Omniverse para la IA física
-
Gemelos digitales de instalaciones industriales
-
Simulación
de robots -
Aprendizaje
de robots -
Generación de datos sintéticos
-
Simulación de vehículos autónomos
Gemelos digitales de instalaciones industriales
Prepare entornos industriales para probar, optimizar y validar flujos de trabajo de IA física antes de la implementación en el mundo real.
- Conecte datos de escenas de OpenUSD en flujos de trabajo de diseño, ingeniería y simulación.
- Añada renderizado RTX, física, sensores y validación para que las instalaciones estén listas para la simulación.
- Inspeccione entornos, identifique problemas y devuelva pruebas para su revisión con herramientas listas para agentes.
Delta Electronics
Simulación de robots
Pruebe el comportamiento, la percepción, el movimiento y la interacción de sensores de robots en entornos listos para la simulación antes de la implementación.
- Prepare escenas de OpenUSD con materiales, propiedades físicas, colisionadores, sensores y datos semánticos.
- Ejecute prevuelo de visuales, sensores y física para comprobar la preparación de la escena.
- Inspeccione escenas, llame a capacidades de simulación y dirija los problemas para su revisión con herramientas listas para agentes.
Aprendizaje de robots
Cree entornos de simulación físicamente fundamentados para el aprendizaje de robots, las pruebas y la iteración de políticas.
- Configure mundos listos para tareas con sensores, física, variación de escenas y validación.
- Genere escenarios para flujos de trabajo de aprendizaje, pruebas y evaluación de políticas de robots.
- Compruebe la preparación de la escena y devuelva las pruebas de los pasos de simulación.
Agility, Apptronik, Fourier Intelligence, Unitree
Generación de datos sintéticos
Genere datos sintéticos físicamente arraigados a partir de mundos listos para la simulación para entrenar y probar modelos de IA física.
- Configure la variación de escenas, los diseños de sensores, la iluminación, los materiales y los resultados de renderizado.
- Produzca datos sintéticos con renderizado basado en física y simulación de sensores.
- Desencadenar tareas de generación de datos, inspeccionar los resultados y señalar problemas para su revisión.
Simulación de vehículos autónomos
Preparar entornos listos para la simulación para probar sistemas de percepción, sensores y escenarios de vehículos autónomos.
- Estructurar datos de carreteras, instalaciones y escenarios con activos de OpenUSD listos para sensores.
- Simular cámaras, lidar, radar y prevuelo visual para flujos de trabajo de percepción.
- Inspeccionar la configuración de los sensores y marcar problemas de preparación antes de realizar pruebas posteriores.
Casos de éxito
Flujos de trabajo de IA física en la práctica
Ecosistema
Omniverse en todo el ecosistema de IA física
Descubra cómo los partners y los desarrolladores están conectando las capacidades de Omniverse en aplicaciones y flujos de trabajo para IA física, gemelos digitales, robótica y simulación.
Recursos
Lo último de Omniverse
-
Últimas noticias
-
Sesiones
-
a aprender
-
Demos
Preguntas frecuentes
NVIDIA Omniverse proporciona bibliotecas, API, servicios y herramientas listas para agentes para crear aplicaciones de IA física y flujos de trabajo 3D listos para la simulación. Los desarrolladores utilizan Omniverse para integrar la interoperabilidad de datos de OpenUSD, el renderizado RTX, la física, la simulación de sensores, la validación y las capacidades de tiempo de ejecución en aplicaciones y flujos de trabajo existentes.
Los desarrolladores pueden crear aplicaciones de simulación de IA física, gemelos digitales industriales, flujos de trabajo de simulación robótica, canalizaciones de datos sintéticos y herramientas para preparar mundos 3D para la simulación. Omniverse ayuda a los equipos a conectar datos 3D, simular sensores y física, validar activos y pasar del contenido 3D visual a entornos listos para la simulación.
Los agentes de IA pueden utilizar las capacidades de Omniverse como herramientas dentro de flujos de trabajo revisables. Un agente puede inspeccionar una escena 3D o un estado de aplicación, llamar a herramientas de Omniverse para operaciones de OpenUSD, renderizado, física, simulación de sensores o validación, y devolver pruebas para que un desarrollador o un artista técnico las revise antes de que el flujo de trabajo continúe.
Sí. Las bibliotecas y servicios de Omniverse ayudan a los desarrolladores y a los fabricantes de software a incorporar capacidades de simulación en las herramientas, los servicios y los flujos de trabajo existentes. De este modo, los equipos pueden utilizar Omniverse para renderizado, física, simulación de sensores, interoperabilidad de OpenUSD y validación sin necesidad de sustituir sus aplicaciones o experiencias de usuario diferenciadas.
Comience por las bibliotecas de Omniverse cuando desee integrar el renderizado, la física, la simulación de sensores, las operaciones de OpenUSD o la validación en una aplicación o servicio. Utilice las habilidades de agentes cuando desee que los agentes de IA recurran a las herramientas de Omniverse para tareas definidas. Use los blueprints como punto de partida cuando desee flujos de trabajo de referencia que muestren cómo se integran las tecnologías de NVIDIA entre sí para el desarrollo de la IA física.
Los desarrolladores pueden utilizar la documentación de Omniverse, los repositorios de GitHub, el contenido de muestra y seleccionar recursos de NVIDIA NGC para el desarrollo, la investigación, las pruebas y la evaluación cuando estén disponibles. Algunas bibliotecas de Omniverse en GitHub están en fase de prelanzamiento y no cuentan con soporte empresarial. Para uso de producción o empresarial, el soporte está disponible a través de NVIDIA Enterprise Support cuando un cliente tiene un derecho de soporte de NVIDIA aplicable. Revise la documentación de cada recurso para determinar su licencia, su nivel de soporte y el uso previsto.
NVIDIA Omniverse ayuda a los desarrolladores a crear y simular mundos, aplicaciones y flujos de trabajo 3D para la IA física. NVIDIA Cosmos™ proporciona modelos de mundo básicos y marcos de procesamiento de datos abiertos, entrenamiento y evaluación para el desarrollo de modelos de IA física. Los equipos pueden utilizarlos juntos cuando los entornos listos para la simulación de Omniverse admiten la generación de datos, las pruebas o los flujos de trabajo de evaluación para sistemas de IA física con tecnología de Cosmos.
NVIDIA Omniverse Launcher (En desuso)
Las herramientas heredadas de Omniverse, incluido Omniverse Launcher, están disponibles a través de las herramientas heredadas y las rutas de documentación de NVIDIA cuando son compatibles. Los desarrolladores que inician nuevos proyectos deben utilizar los recursos para desarrolladores actuales de Omniverse, la documentación, los repositorios de GitHub y las herramientas compatibles.
Visite las herramientas heredadas de Omniverse y los foros de desarrolladores de NVIDIA para obtener más información.
NVIDIA Cosmos es una plataforma de desarrollo de modelos mundiales (WFM). En su núcleo se encuentran los WFM de Cosmos que generan estados del mundo como vídeos utilizando entradas multimodales.
Los desarrolladores pueden introducir simulaciones de Omniverse como vídeos instructivos en el WFM Cosmos Transfer para generar datos sintéticos controlables y fotorrealistas.
Juntos, Omniverse proporciona el entorno de simulación antes y después del entrenamiento, mientras que Cosmos proporciona datos sintéticos controlables fotorreales para entrenar modelos de IA física.
Próximos pasos
Únete a la Comunidad Omniverse
Conecte con desarrolladores de Omniverse, comparta comentarios, explore muestras y recursos de aprendizaje y manténgase al día sobre OpenUSD, la simulación y los flujos de trabajo de IA física.
Empiece a crear con Omniverse
Explore bibliotecas aceleradas, microservicios y habilidades para la simulación de la IA física y los flujos de trabajo de agentes.
Omniverse GitHub
Explore repositorios, muestras y recursos de código abierto de Omniverse para crear con OpenUSD, renderizado, física, sensores y validación.