IA física
NVIDIA Cosmos
Desarrolle modelos fundacionales mundiales para avanzar en la IA física.
Descripción
¿Qué es NVIDIA Cosmos?
NVIDIA Cosmos™ es una plataforma con modelos básicos de mundo (WFM) abiertos, barreras de protección y bibliotecas de procesamiento de datos para acelerar el desarrollo de la IA física en vehículos autónomos (VA), robots y agentes de IA de análisis de vídeo.
Modelos
Modelos básicos de mundo para la IA física
Modelos entrenados previamente, abiertos y totalmente personalizables para la comprensión y generación de mundos.
Cosmos Predict
Predice estados futuros de entornos dinámicos para facilitar la planificación de agentes de IA y robótica.
Este modelo de generación de mundos produce hasta 30 segundos de vídeo de alta fidelidad a partir de indicaciones multimodales.
Cosmos Transfer
Acelere la generación de datos sintéticos en varios entornos y condiciones de iluminación.
Este modelo multicontrol transforma las entradas 3D o espaciales de los marcos de simulación de IA física, como CARLA o NVIDIA Isaac Sim™, en vídeos de alta fidelidad totalmente controlados.
Cosmos Reason
Permite que los robots y los agentes de IA de visión razonen como los humanos.
Este modelo de lenguaje de visión multimodal (VLM) aprovecha los conocimientos previos, la comprensión de la física y el sentido común para comprender el mundo real e interactuar con él.
Procesamiento de datos
Acelere el procesamiento y la generación eficientes de conjuntos de datos.
Filtra, anota y deduplica rápidamente grandes cantidades de datos de sensores necesarios para el desarrollo de IA física con Cosmos Curator.
También puede consultar al instante estos conjuntos de datos y recuperar escenarios con NVIDIA Cosmos Dataset Search (CDS).
Casos de uso
Cómo Cosmos acelera la IA en todos los sectores
-
Aprendizaje de robots
-
Entrenamiento de vehículos autónomos
-
Agentes de IA para análisis de vídeo
Aprendizaje de robots
Los robots necesitan vastos y diversos datos de entrenamiento para percibir e interactuar de forma eficaz con sus entornos. Los WFM de Cosmos resuelven esta situación de varias maneras:
- Generación de datos sintéticos con Cosmos Transfer
- Posentrenamiento de Cosmos Predict para la política de robots.
- Razonamiento y filtración de datos sintéticos con Cosmos Reason.
Entrenamiento de vehículos autónomos
Los diversos datos de sensores de alta fidelidad son críticos para entrenar, probar y validar de forma segura vehículos autónomos. Pero es difícil, requiere mucho tiempo y es costoso escalar.
Con los WFM de Cosmos entrenados posteriormente en datos de vehículos, es posible: - Amplificar la diversidad de datos existentes con nuevos datos meteorológicos:
- de iluminación y de geolocalización con Cosmos Transfer.
- Ampliar a vistas multisensor con Cosmos Predict.
Agentes de IA para análisis de vídeo
Mejore la automatización, la seguridad y la eficiencia operativa en entornos industriales y urbanos. Con Cosmos Reason, los agentes de IA pueden analizar, resumir e interactuar con transmisiones de vídeo en tiempo real o grabadas para:
With Cosmos Reason, AI agents can analyze, summarize, and interact with real-time or recorded video streams to:
- Ofrecer alertas y respuestas a preguntas en tiempo real.
- Proporcionar información contextual enriquecida.
Opciones iniciales
Empezar con NVIDIA Cosmos
Infraestructura de IA
Obtenga el mejor rendimiento con NVIDIA Blackwell
Los servidores de la serie NVIDIA RTX PRO 6000 Blackwell aceleran el desarrollo de la IA física para robots, vehículos autónomos y agentes de IA en el entrenamiento, la generación de datos sintéticos, la simulación y la inferencia.
Libere el rendimiento máximo para los modelos fundamentales de Cosmos en NVIDIA Blackwell GB200 para cargas de trabajo industriales posteriores al entrenamiento e inferencia.
Ecosistema
Adoptado por los principales innovadores en el campo de la IA física
Los desarrolladores de modelos de los sectores de la robótica, los vehículos autónomos y la visión artificial utilizan Cosmos para acelerar el desarrollo de la IA física.
Próximos pasos
Recursos
Lo último de los desarrolladores de Cosmos
Preguntas frecuentes
Consulte el nuevo libro de cocina de Cosmos, que contiene recetas paso a paso y scripts de posentrenamiento para crear, personalizar e implementar rápidamente los modelos fundamentales mundiales de Cosmos de NVIDIA para la robótica y los sistemas autónomos.
Los scripts de PyTorch están disponibles de forma abierta para todos los modelos de Cosmos para el entrenamiento posterior. Consulte el nuevo libro de cocina de Cosmos, que contiene recetas paso a paso y scripts de posentrenamiento para crear, personalizar e implementar rápidamente los modelos fundamentales mundiales de Cosmos de NVIDIA para la robótica y los sistemas autónomos.
Sí, puede aprovechar Cosmos para crear desde cero con su modelo o arquitectura de modelos preferidos. Puede empezar utilizando Cosmos Curator para el preprocesamiento de datos de vídeo. Luego, comprima y descodifique sus datos con el tokenizador Cosmos. Una vez que haya procesado los datos, podrá entrenar o perfeccionar su modelo.
Utilizando los microservicios NVIDIA NIM™, puede integrar fácilmente sus modelos de IA física en sus aplicaciones en la nube, los centros de datos y las estaciones de trabajo.
También puede utilizar NVIDIA DGX Cloud para entrenar modelos de IA e implementarlos en cualquier lugar a escala.
Los tres son unos WFM con roles distintos:
- Cosmos Predict genera diversas escenas de vídeo a partir de indicaciones de texto, imagen o vídeo, ideales para el entrenamiento posterior en temas como robots o coches autónomos.
- Cosmos Transfer aplica la transferencia de estilo multicontrol, que cambia la iluminación y los entornos, en vídeos basados en la física, a menudo creados en simuladores como NVIDIA Omniverse™.
- Cosmos Reason responde a las consultas al razonar sobre las entradas de vídeo e imagen. Cosmos Reason puede generar nuevas y diversas indicaciones de texto a partir de un vídeo de partida para Cosmos Predict, o criticar y anotar los datos sintéticos de Predict y Transfer.
Cosmos Reason puede generar nuevas y diversas indicaciones de texto a partir de un vídeo de partida para Cosmos Predict, o criticar y anotar los datos sintéticos de Predict y Transfer.
Omniverse crea simulaciones 3D realistas de tareas del mundo real utilizando diferentes API generativas, SDK y la tecnología de renderizado NVIDIA RTX.
Los desarrolladores pueden introducir simulaciones de Omniverse como vídeos instructivos en modelos de Cosmos Transfer para generar datos sintéticos fotorrealistas controlables.
Juntos, Omniverse proporciona el entorno de simulación antes y después del entrenamiento, mientras que Cosmos proporciona los modelos fundacionales para generar datos de vídeo y entrenar modelos de IA física.
Más información sobre NVIDIA Omniverse.