IA Física
NVIDIA Omniverse
Desarrolle mundos listos para la simulación para la IA física con herramientas listas para agentes para renderización, física, sensores y validación.
Descripción general
¿Qué es NVIDIA Omniverse?
Las bibliotecas NVIDIA Omniverse™, que forman parte del Kit de Herramientas NVIDIA Agent, proporcionan capacidades predefinidas para desarrollar mundos listos para la simulación que los equipos de IA física pueden usar para entrenar, probar y validar sistemas antes de la implementación en el mundo real. Los desarrolladores pueden integrar bibliotecas, API y servicios para la interoperabilidad de datos de OpenUSD, renderización, física, simulación de sensores, validación y workflows en tiempo de ejecución en aplicaciones existentes, donde los agentes de IA pueden usarlos como herramientas para desarrollar esos mundos más rápido.
Tecnología
Bibliotecas y Servicios Centrales de Omniverse
Use las bibliotecas y servicios de Omniverse para agregar capacidades de simulación de IA física en aplicaciones, herramientas y workflows listos para agentes.
Datos e Interoperabilidad de OpenUSD
Conecte, organice e intercambie datos de escenas 3D en todas las aplicaciones y pipelines de simulación.
- Úselo cuando: Necesite una estructura de escenas duradera, transferencia de recursos o interoperabilidad de aplicaciones.
- Rol listo para el agente: Los agentes pueden inspeccionar, organizar, convertir y enrutar datos de escenas.
Renderización y Simulación RTX
Previsualice escenas, genere resultados de sensores y produzca evidencia visual a partir de mundos listos para la simulación.
- Úselo cuando: Necesite una verificación visual previa, resultados de sensores sintéticos o una revisión de escenas lista para la simulación.
- Rol listo para agentes: Los agentes pueden desencadenar renderizaciones, simular sensores y devolver evidencia visual.
Simulación de Física
Simule movimiento, contactos y comportamiento basado en la física para workflows de robótica y gemelos digitales.
- Úselo cuando: Necesite probar colisiones, movimiento, dinámica o preparación para la física.
- Rol listo para agentes: Los agentes pueden ejecutar verificaciones de preparación para la física y enrutar problemas para su revisión.
Validación de Recursos Listos para la Simulación
Verifique los recursos de OpenUSD en función de los requisitos listos para la simulación antes del entrenamiento, las pruebas o la implementación de las tareas posteriores.
- Úselo cuando: Necesite puertas de aceptación antes de mover recursos a los workflows de simulación de IA física.
- Rol listo para agentes: Los agentes pueden ejecutar verificaciones de validación y devolver evidencia de aprobación/fracaso.
Opciones de inicio
Elija Cómo Desarrollar con Omniverse
Comience con bibliotecas, herramientas listas para agentes, blueprints o workflows de muestra, en función de lo que quiera desarrollar.
Casos de uso
Cómo los Equipos Usan Omniverse para la IA Física
-
Gemelos Digitales de Instalaciones Industriales
-
Simulación
de Robot -
Aprendizaje
Robótico -
Generación de Datos Sintéticos
-
Simulación de Vehículos Autónomos
Gemelos Digitales de Instalaciones Industriales
Prepare entornos industriales para probar, optimizar y validar workflows de IA física antes de la implementación en el mundo real.
- Conecte los datos de escenas de OpenUSD en todos los workflows de diseño, ingeniería y simulación.
- Agregue renderización RTX, física, sensores y validación para hacer que las instalaciones estén listas para la simulación.
- Inspeccione entornos, identifique problemas y devuelva evidencia para la revisión con herramientas listas para agentes.
Delta Electronics
Simulación de Robot
Pruebe el comportamiento, la percepción, el movimiento y la interacción con sensores de robots en entornos listos para la simulación antes de la implementación.
- Prepare escenas de OpenUSD con materiales, propiedades de física, colisionadores, sensores y datos semánticos.
- Ejecute una comprobación preliminar visual, de sensores y física para verificar la preparación de las escenas.
- Inspeccione escenas, invoque capacidades de simulación y dirija los problemas para su revisión con herramientas listas para agentes.
Aprendizaje Robótico
Cree entornos de simulación con base física para el aprendizaje de robots, las pruebas y la iteración de políticas.
- Configure mundos listos para tareas con sensores, física, variación de escenas y validación.
- Genere escenarios para workflows de aprendizaje, pruebas y evaluación de políticas con robots.
- Verifique la preparación de escenas y devuelva la evidencia de los pasos de simulación.
Agility, Apptronik, Fourier Intelligence, Unitree
Generación de Datos Sintéticos
Genere datos sintéticos físicamente fundamentados a partir de mundos listos para la simulación para entrenar y probar modelos de IA física.
- Configure la variación de escenas, los diseños de sensores, la iluminación, los materiales y los resultados de renderización.
- Produzca datos sintéticos con renderización basada en la física y simulación de sensores.
- Desencadene tareas de generación de datos, inspeccione resultados y señale problemas para su revisión.
Simulación de Vehículos Autónomos
Prepare entornos listos para la simulación para probar sistemas de percepción, sensores y escenarios de vehículos autónomos.
- Estructure datos de carreteras, instalaciones y escenarios con recursos de OpenUSD listos para sensores.
- Simule cámaras, lidar, radar y prevuelo visual para workflows de percepción.
- Inspeccione la configuración de sensores y detecte problemas de preparación antes de las pruebas posteriores.
Historias de Éxito
Workflows de IA Física en la Práctica
Ecosistema
Omniverse en Todo el Ecosistema de IA Física
Vea cómo los socios y desarrolladores están conectando las capacidades de Omniverse en aplicaciones y workflows para IA física, gemelos digitales, robótica y simulación.
Recursos
Lo Más Reciente de Omniverse
-
Últimas Noticias
-
Sesiones
-
Learning
-
Demos
Preguntas Frecuentes
NVIDIA Omniverse proporciona bibliotecas, API, servicios y herramientas listas para agentes para desarrollar aplicaciones de IA física y workflows 3D listos para la simulación. Los desarrolladores usan Omniverse para integrar la interoperabilidad de datos de OpenUSD, la renderización de RTX, la física, la simulación de sensores, la validación y las capacidades de tiempo de ejecución en las aplicaciones y workflows existentes.
Los desarrolladores pueden crear aplicaciones de simulación de IA física, gemelos digitales industriales, workflows de simulación de robótica, pipelines de datos sintéticos y herramientas para preparar mundos 3D para la simulación. Omniverse ayuda a los equipos a conectar datos 3D, simular sensores y física, validar recursos y pasar del contenido visual 3D a entornos listos para la simulación.
Los agentes de IA pueden usar las capacidades de Omniverse como herramientas dentro de workflows que se pueden revisar. Un agente puede inspeccionar una escena o un estado de aplicación en 3D, llamar a las herramientas de Omniverse para operaciones de OpenUSD, renderización, física, simulación de sensores o validación, y devolver evidencia para que un desarrollador o un artista técnico la revise antes de que el workflow continúe.
Sí. Las bibliotecas y servicios de Omniverse ayudan a los desarrolladores y fabricantes de software a agregar capacidades de simulación en herramientas, servicios y workflows existentes. Esto permite a los equipos usar Omniverse para la renderización, la física, la simulación de sensores, la interoperabilidad de OpenUSD y la validación sin reemplazar sus aplicaciones diferenciadas ni sus experiencias de usuario.
Comience con las bibliotecas Omniverse cuando desee integrar la renderización, la física, la simulación de sensores, las operaciones de OpenUSD o la validación en una aplicación o servicio. Use habilidades de agente cuando desee que los agentes de IA llamen herramientas de Omniverse para tareas definidas. Comience con los blueprints cuando desee workflows de referencia que muestren cómo las tecnologías de NVIDIA se adaptan para el desarrollo de la IA física.
Los desarrolladores pueden usar la documentación de Omniverse, los repositorios de GitHub, el contenido de muestra y recursos seleccionados de NVIDIA NGC para el desarrollo, la investigación, las pruebas y la evaluación donde estén disponibles. Algunas bibliotecas Omniverse en GitHub son versiones preliminares y no cuentan con soporte empresarial. Para la producción o el uso empresarial, el soporte está disponible a través de NVIDIA Enterprise Support cuando un cliente tiene un derecho de asistencia de NVIDIA aplicable. Revise la documentación de cada recurso para conocer su licencia, nivel de asistencia y uso previsto.
NVIDIA Omniverse ayuda a los desarrolladores a crear y simular mundos 3D, aplicaciones y workflows para la IA física. NVIDIA Cosmos™ proporciona modelos fundacionales del mundo y Frameworks abiertos de procesamiento de datos, entrenamiento y evaluación para el desarrollo de modelos de IA física. Los equipos pueden usarlos juntos cuando los entornos listos para la simulación de Omniverse admitan la generación de datos, pruebas o workflows de evaluación para sistemas de IA física impulsados por Cosmos.
NVIDIA Omniverse Launcher (Obsoleto)
Las herramientas heredadas de Omniverse, incluido Omniverse Launcher, están disponibles a través de las herramientas heredadas y las rutas de documentación de NVIDIA donde son compatibles. Los desarrolladores que comiencen nuevos proyectos deben usar los recursos actuales de desarrolladores de Omniverse, la documentación, los repositorios de GitHub y las herramientas compatibles.
Visite las herramientas heredadas de Omniverse y los foros de desarrollador de NVIDIA para obtener más detalles.
NVIDIA Cosmos es una plataforma de desarrollo de modelo mundial (WFM). En su núcleo están los WFM Cosmos que generan estados del mundo como videos mediante entradas multimodales.
Los desarrolladores pueden ingresar simulaciones de Omniverse como videos instructivos a Cosmos Transfer WFM para generar datos sintéticos controlables y fotorrealistas.
Juntos, Omniverse proporciona el entorno de simulación antes y después del entrenamiento, mientras que Cosmos proporciona datos sintéticos controlables fotorreales para entrenar modelos de IA física.
Próximos pasos
Únase a la Comunidad de Omniverse
Conéctese con los desarrolladores de Omniverse, comparta comentarios, explore muestras y recursos de aprendizaje y manténgase al día sobre OpenUSD, simulación y workflows de IA física.
Comience a Desarrollar con Omniverse
Explore bibliotecas aceleradas, microservicios y habilidades para la simulación de IA física y workflows basados en agentes.
Omniverse GitHub
Explore los repositorios, muestras y recursos de código abierto de Omniverse para el desarrollo con OpenUSD, renderización, física, sensores y validación.