IA Física
NVIDIA Cosmos
Desarrolle world foundation models para el avance de la IA física.
Descripción General
¿Qué es NVIDIA Cosmos?
NVIDIA Cosmos™ es una plataforma con modelos fundacionales del mundo (WFM) abiertos, barreras de seguridad y bibliotecas de procesamiento de datos para acelerar el desarrollo de la IA física para vehículos autónomos (AV), robots y agentes de IA de análisis de video.
Modelos
Modelos Fundacionales del Mundo para la IA Física
Modelos preentrenados abiertos y completamente personalizables para la generación y comprensión de mundos.
Cosmos Predict
Predice estados futuros de entornos dinámicos para la robótica y la planificación de agentes de IA.
Este modelo de generación de mundos produce hasta 30 segundos de video de alta fidelidad a partir de indicaciones multimodales.
Cosmos Transfer
Acelerar la generación de datos sintéticos en varios entornos y condiciones de iluminación.
Este modelo de multicontrol transforma las entradas 3D o espaciales de los frameworks de simulación de IA física, como CARLA o NVIDIA Isaac Sim™, en videos de alta fidelidad completamente controlados.
Cosmos Reason
Permite que los robots y los agentes de IA de visión razonen como humanos.
Este modelo de lenguaje de visión multimodal (VLM) aprovecha el conocimiento previo, la comprensión de la física y el sentido común para comprender el mundo real e interactuar con él.
Procesamiento de Datos
Acelere el procesamiento y la generación eficientes de conjuntos de datos.
Filtre, anote y deduplique rápidamente grandes cantidades de datos de sensores necesarios para el desarrollo de IA física con Cosmos Curator.
También puede consultar estos conjuntos de datos al instante y recuperar escenarios con NVIDIA Cosmos Dataset Search (CDS).
Casos de Uso
Cómo Cosmos Acelera la IA en Todas las Industrias
-
Aprendizaje Robótico
-
Entrenamiento de Vehículos Autónomos
-
Agentes de IA para Análisis de Video
Aprendizaje Robótico
Los robots necesitan datos de entrenamiento vastos y diversos para percibir e interactuar de manera efectiva con sus entornos. Los WFM de Cosmos resuelven esto de múltiples maneras:
- Genere datos sintéticos mediante Cosmos Transfer.
- Posentrene Cosmos Predict para su política de robots.
- Razone y filtre datos sintéticos con Cosmos Reason.
Entrenamiento de Vehículos Autónomos
Los datos de sensores diversos y de alta fidelidad son fundamentales para el entrenamiento, las pruebas y la validación de los vehículos autónomos de forma segura. Pero es difícil, lento y costoso de escalar.
Con los modelos fundacionales del mundo (WFM) de Cosmos posentrenados con datos de vehículos, usted puede:
- Amplifique la diversidad de datos existente con nuevos datos meteorológicos, de iluminación y de geolocalización mediante Cosmos Transfer.
- Expanda las vistas de múltiples sensores con Cosmos Predict.
Agentes de IA para Análisis de Video
Mejore la automatización, la seguridad y la eficiencia operativa en entornos industriales y urbanos.
Con Cosmos Reason, los agentes de IA pueden analizar, resumir e interactuar con transmisiones de video en tiempo real o grabadas para lo siguiente:
- Ofrezca respuestas a preguntas y alertas en tiempo real.
- Proporcione información contextual rica.
Opciones de Inicio
Comience a Usar NVIDIA Cosmos
Infraestructura de IA
Obtenga el Mejor Desempeño con NVIDIA Blackwell
Los servidores NVIDIA RTX PRO 6000 Serie Blackwell aceleran el desarrollo de la IA física para robots, vehículos autónomos y agentes de IA en entrenamiento, generación de datos sintéticos, simulación e inferencia.
Obtenga el máximo desempeño en los modelos base del mundo de Cosmos con NVIDIA Blackwell GB200, para cargas de trabajo industriales de posentrenamiento e inferencia.
Ecosistema
Adoptado por los Principales Innovadores de la IA física
Los desarrolladores de modelos de las industrias de robótica, vehículos autónomos y IA de visión están usando Cosmos para acelerar el desarrollo de la IA física.
Próximos Pasos
Recursos
Lo Último de los Desarrolladores de Cosmos
Preguntas Frecuentes
Los WFM de Cosmos están disponibles bajo una Licencia de Modelo Abierto de NVIDIA para todos.
Consulte el nuevo Libro de Cocina de Cosmos, que contiene recetas paso a paso y scripts de posentrenamiento para desarrollar, personalizar e implementar rápidamente los modelos fundacionales del mundo Cosmos de NVIDIA para robótica y sistemas autónomos.
Sí, puede aprovechar Cosmos para desarrollar desde cero con su arquitectura de modelos o modelo base preferido. Puede comenzar usando Cosmos Curator para el preprocesamiento de datos de video. A continuación, comprima y decodifique sus datos con Cosmos tokenizer. Una vez que haya procesado los datos, puede entrenar o ajustar su modelo.
Mediante los microservicios NVIDIA NIM™ puede integrar fácilmente sus modelos de IA física en sus aplicaciones en la nube, data centers y workstations.
También puede usar NVIDIA DGX Cloud para entrenar modelos de IA e implementarlos en cualquier lugar a gran escala.
Los tres son WFM con distintos roles:
- Cosmos Predict genera diversas escenas de video a partir de prompts de texto, imagen o video, lo que es ideal para el posentrenamiento en temas como robots o automóviles de conducción autónoma.
- Cosmos Transfer aplica una transferencia de estilo de control múltiple (cambiando la iluminación y los entornos) en videos basados en la física, a menudo creados en simuladores como NVIDIA Omniverse™.
- Cosmos Reason responde a las consultas razonando sobre entradas de video e imágenes. Cosmos Reason puede generar instrucciones de texto nuevas y diversas a partir de un video de inicio en Cosmos Predict, o evaluar y anotar datos sintéticos de Predict y Transfer.
Cosmos Reason puede generar instrucciones de texto nuevas y diversas a partir de un video de inicio en Cosmos Predict, o evaluar y anotar datos sintéticos de Predict y Transfer.
Omniverse crea simulaciones 3D realistas de tareas del mundo real mediante el uso de diferentes API generativas, SDK y la tecnología de renderización NVIDIA RTX.
Los desarrolladores pueden ingresar simulaciones de Omniverse como videos de instrucciones a los modelos Cosmos Transfer para generar datos sintéticos fotorrealistas y controlables.
En conjunto, Omniverse proporciona el entorno de simulación antes y después del entrenamiento, mientras que Cosmos proporciona los modelos base para generar datos de video y entrenar modelos de IA física.
Más información sobre NVIDIA Omniverse.