IA Física
NVIDIA Cosmos
Desarrolle world foundation models para el avance de la IA física.
Descripción General
¿Qué es NVIDIA Cosmos?
NVIDIA Cosmos™ es una plataforma hecha específicamente para la IA física que cuenta con world foundation models (WFM) de vanguardia, barreras de seguridad y un pipeline de procesamiento y selección de datos acelerado. Los desarrolladores usan Cosmos para acelerar el desarrollo de la IA física para vehículos autónomos (AV), robots y agentes de IA de análisis de video.
Modelos Abiertos
Modelos de Cosmos para IA Física
Modelos generativos multimodales preentrenados que los desarrolladores pueden usar de inmediato para la generación o el razonamiento acerca del mundo, o para entrenar posteriormente a fin de desarrollar modelos de IA física.
Cosmos Predict
Un innovador modelo de predicción del estado del mundo capaz de generar hasta 30 segundos de video continuo a partir de entradas multimodales con velocidad, fidelidad y adherencia superiores. Habilite predicciones y planificación de escenarios avanzados para robótica y agentes de IA prediciendo estados futuros de entornos dinámicos.
Cosmos Transfer
El modelo de multicontrol escala una sola simulación o video espacial rápidamente en varios entornos y condiciones de iluminación. Acelerar las entradas 3D de los frameworks de simulación de IA física, como CARLA o NVIDIA Isaac Sim™, para habilitar pipelines de aumento de datos y generación de datos sintéticos completamente controlables.
Cosmos Reason
Un modelo de lenguaje de visión de razonamiento (VLM) abierto y personalizable para IA física permite a los robots y a los agentes de IA de visión razonar como humanos. Puede utilizar el conocimiento previo, la comprensión de la física y el sentido común para comprender el mundo real y cómo interactuar con él.
Procesamiento de Datos
NVIDIA Cosmos Curator es un framework que permite a los desarrolladores filtrar, anotar y desduplicar rápidamente grandes cantidades de datos de sensores necesarios para el desarrollo de IA física, creando conjuntos de datos personalizados para satisfacer las necesidades de los modelos. Con NVIDIA Cosmos Dataset Search (CDS), los desarrolladores pueden consultar instantáneamente estos conjuntos de datos y recuperar escenarios para un posentrenamiento específico.
Acelere el procesamiento y la generación eficientes de conjuntos de datos.
Casos de Uso
Cómo Cosmos Acelera la IA en Todas las Industrias
Utilice los Modelos de Flujo de Trabajo (WFM) de Cosmos para simular, razonar y generar datos para pipelines posteriores en robótica, vehículos autónomos y sistemas de visión industrial.
-
Aprendizaje Robótico
-
Entrenamiento de Vehículos Autónomos
-
Agentes de IA para Análisis de Video
Aprendizaje Robótico
Los robots necesitan datos de entrenamiento vastos y diversos para percibir e interactuar de manera efectiva con sus entornos. Con los WFM de Cosmos, los desarrolladores pueden generar datos sintéticos controlables y de alta fidelidad para entrenar la percepción y los modelos de políticas de robots.
Entrenamiento de Vehículos Autónomos
Los datos de sensores diversos y de alta fidelidad son fundamentales para el entrenamiento, las pruebas y la validación de los vehículos autónomos de forma segura. Con los WFM de Cosmos, posentrenados con datos de vehículos, los desarrolladores pueden amplificar la diversidad de datos existente con nuevo clima, iluminación y ubicaciones geográficas, o expandirse a vistas de múltiples sensores, lo que ahorra una cantidad significativa de tiempo y costos.
Agentes de IA para Análisis de Video
Estos agentes de IA pueden analizar, resumir e interactuar con transmisiones de video en tiempo real o grabadas para mejorar la automatización, la seguridad y la eficiencia operativa en entornos industriales y urbanos. Cosmos Reason impulsa los agentes de IA de análisis de video para ofrecer respuestas a preguntas en tiempo real, alertas rápidas y rica información contextual, lo que impulsa sistemas más inteligentes y con capacidad de respuesta en las implementaciones en el edge y en la nube.
IA Fiable
Apoyo a la Comunidad de IA Física
Hay modelos, barreras de seguridad y tokenizadores de Cosmos disponibles en Hugging Face y GitHub, con recursos para hacerle frente a la escasez de datos en el entrenamiento de modelos de IA física.
Infraestructura de IA
Obtenga el Mejor Desempeño con NVIDIA Blackwell
Los servidores NVIDIA RTX PRO 6000 Serie Blackwell aceleran el desarrollo de la IA física para robots, vehículos autónomos y agentes de IA en entrenamiento, generación de datos sintéticos, simulación e inferencia.
Obtenga el máximo desempeño en los modelos base del mundo de Cosmos con NVIDIA Blackwell GB200, para cargas de trabajo industriales de posentrenamiento e inferencia.
Ecosistema
Adoptado por los Principales Innovadores de la IA física
Los desarrolladores de modelos de las industrias de robótica, vehículos autónomos y IA de visión están usando Cosmos para acelerar el desarrollo de la IA física.
Próximos Pasos
Recursos
Lo Último de los Desarrolladores de Cosmos
Preguntas Frecuentes
Comience con la documentación. Los Modelos Fundacionales del Cosmos se encuentran totalmente disponibles en Hugging Face con guiones de inferencia y posentrenamiento en GitHub.
Los WFM de Cosmos están disponibles bajo una Licencia de Modelo Abierto de NVIDIA para todos.
Los scripts de PyTorch están abiertamente disponibles para todos los modelos de Cosmos para su postentrenamiento. Consulte el nuevo Libro de cocina de Cosmos, que contiene recetas paso a paso y guiones de posentrenamiento para desarrollar, personalizar e implementar rápidamente los modelos fundacionales del mundo Cosmos de NVIDIA para robótica y sistemas autónomos.
Sí, puede aprovechar Cosmos para desarrollar desde cero con su arquitectura de modelos o modelo base preferido. Puede comenzar por usar NeMo Curator para el preprocesamiento de datos de video. A continuación, comprima y decodifique sus datos con Cosmos tokenizer. Una vez que haya procesado los datos, puede entrenar o ajustar su modelo con NVIDIA NeMo.
Mediante los microservicios NVIDIA NIM™ puede integrar fácilmente sus modelos de IA física en sus aplicaciones en la nube, data centers y workstations.
También puede usar NVIDIA DGX Cloud para entrenar modelos de IA e implementarlos en cualquier lugar a gran escala.
Los tres son WFM con distintos roles:
- Cosmos Predict genera diversas escenas de video a partir de prompts de texto, imagen o video, lo que es ideal para el posentrenamiento en temas como robots o automóviles de conducción autónoma.
- Cosmos Transfer aplica transferencia de estilos de controles múltiples (con cambio de la iluminación y los entornos) en videos de física, a menudo creados en simuladores como NVIDIA Omniverse.
- Cosmos Reason responde a consultas de texto mediante razonamiento sobre entradas de video e imágenes.
Cosmos Reason puede generar instrucciones de texto nuevas y diversas a partir de un video de inicio en Cosmos Predict, o evaluar y anotar datos sintéticos de Predict y Transfer.
Omniverse crea simulaciones 3D realistas de tareas del mundo real mediante el uso de diferentes API generativas, SDK y la tecnología de renderización NVIDIA RTX.
Los desarrolladores pueden ingresar simulaciones de Omniverse como videos de instrucciones a los modelos Cosmos Transfer para generar datos sintéticos fotorrealistas y controlables.
En conjunto, Omniverse proporciona el entorno de simulación antes y después del entrenamiento, mientras que Cosmos proporciona los modelos base para generar datos de video y entrenar modelos de IA física.
Más información sobre NVIDIA Omniverse.