IA physique
NVIDIA Cosmos
Une plateforme ouverte pour l'IA physique avec des modèles de fondation de monde (WFM), des bibliothèques de traitement des données vidéo, l'évaluation vidéo et des frameworks de post-entraînement.
Modèles de fondation de monde
Modèles ouverts pour la génération et la compréhension du monde
Cosmos Predict
Modèle de génération de monde de premier plan, adaptable à n'importe quelle tâche ou environnement d'IA physique.
Générez des mondes vidéo prédictifs sur 30 s à partir de texte, d'images ou de vidéos avec des modèles 2B/14B, ou effectuez un post-entraînement sur vos données pour créer des cas à l'Edge personnalisés, des politiques en boucle fermée et des simulations multivues centrées sur les robots.
Cosmos Transfer
Modèle multicontrôle pour la transformation de la simulation vers le photoréalisme.
Associez-le à des frameworks de simulation d'IA physique, tels que CARLA ou NVIDIA Isaac Sim™, pour accélérer la génération de données synthétiques dans divers environnements et conditions d'éclairage.
Cosmos Reason
Modèle de langage de vision (VLM) de pointe permettant aux robots et aux agents d'IA de vision de raisonner comme les humains.
Combine les connaissances préalables, la physique et le bon sens pour générer des alertes en temps réel et des informations exploitables dans les domaines de la sécurité publique, de la surveillance du trafic, de la logistique, de l'inspection qualité et de l'IA physique.
Traitement et évaluation des données
Accélérez le traitement et l'évaluation efficaces des jeux de données.
Cas d'utilisation
Comment Cosmos accélère l'IA dans les industries
-
Robot Learning
-
Entraînement des véhicules autonomes
-
Agents d'IA d'analyse de vidéos
Robot Learning
Créez des modèles de monde personnalisés pour des tâches, des environnements, des dispositions de caméras ou de capteurs et des politiques en aval.
- Post-entraînez Cosmos Predict pour des vues ou des politiques de contrôle spécifiques aux robots
- Générez des données synthétiques sur tous les environnements et les conditions d'éclairage avec Cosmos Transfer
- Post-entraînez Cosmos Reason à l'aide du framework Cosmos RL pour créer des modèles de vision-langage-action (VLA)
- Créez un pipeline d'augmentation et d'évaluation de données synthétiques de bout en bout à l'aide du Physical AI Data Factory Blueprint basé sur Cosmos
Entraînement des véhicules autonomes
Générez des données de capteurs personnalisées, diversifiées et haute fidélité pour entraîner, tester et valider des véhicules autonomes en toute sécurité.
- Amplifier la diversité de vos données existantes avec de nouvelles données météorologiques, d’éclairage et de géolocalisation grâce à Cosmos Transfer
- Enrichir les vues multi-capteurs à l'aide de Cosmos Predict
- Créez un pipeline d'augmentation et d'évaluation de données synthétiques de bout en bout à l'aide du Physical AI Data Factory Blueprint basé sur Cosmos
Agents d'IA d'analyse de vidéos
Renforcez l’automatisation, la sécurité et l’efficacité opérationnelle dans les environnements industriels et urbains.
Avec Cosmos Reason, les agents d'IA peuvent analyser, synthétiser et interagir avec des flux vidéo en temps réel ou enregistrés afin de :
- Proposer des alertes et des réponses aux questions en temps réel
- Fournir des informations contextuelles riches
- Extrayez des informations à partir de données vidéo à grande échelle avec NVIDIA Blueprint pour la recherche et la synthèse de vidéos
Options de démarrage
Démarrer avec NVIDIA Cosmos
Infrastructure d’IA
Obtenez les meilleures performances avec NVIDIA Blackwell
Les serveurs NVIDIA RTX PRO 6000 de la série Blackwell accélèrent le développement de l'IA physique des robots, des véhicules autonomes et des agents d'IA dans l'entraînement, la génération de données synthétiques, la simulation et l'inférence.
Débloquez des performances maximales des modèles de fondation de monde Cosmos sur NVIDIA Blackwell GB200 pour les charges de travail de post-entraînement et d'inférence industriels.
Écosystème
Adopté par les principaux innovateurs en IA physique
Les développeurs de modèles dans les secteurs de la robotique, des véhicules autonomes et de la vision par l'IA utilisent Cosmos pour accélérer le développement de l'IA physique.
Étapes suivantes
Ressources
Dernières nouveautés des développeurs de Cosmos
-
Actualités récentes
-
Sessions
-
Démos
Foire aux questions
[22 janvier 2026] Publication de la recherche sur Cosmos Policy qui s'appuie sur Cosmos Predict-2 pour le contrôle et la planification visuomoteurs.
[9 février 2026] Amélioration de la prise en charge du calcul, de la quantification et de la compatibilité avec CUDA pour le nouveau Cosmos Reason 2.
[19 décembre 2025] Publication de la prise en charge des diffusers de Cosmos-Predict2.5-2B via Hugging Face et le point de contrôle distillé de Cosmos-Predict2.5-2B Text2World sur Hugging Face et le guide de Distillation.
[19 décembre 2025] Publication des capacités Image2Image et ImagePrompt pour Cosmos Transfer 2.5. Consultez le guide d'inférence ici.
Découvrez GitHub pour en savoir plus.
Les WFM de Cosmos sont disponibles dans le cadre d'une licence de modèle ouvert de NVIDIA pour tous.
Référez-vous au nouveau Cosmos Cookbook qui contient des recettes étape par étape et des scripts de post-entraînement pour développer, personnaliser et déployer rapidement les modèles de fondation de monde Cosmos de NVIDIA pour la robotique et les systèmes autonomes.
Oui, vous pouvez exploiter Cosmos pour développer à partir de zéro avec votre modèle de fondation ou votre architecture de modèle préféré. Vous pouvez commencer par utiliser Cosmos Curator pour le prétraitement des données vidéo. Ensuite, compressez et décodez vos données avec le générateur de jetons Cosmos. Une fois que vous avez traité vos données, vous pouvez entraîner ou ajuster votre modèle.
Grâce aux microservices NVIDIA NIM™, vous pouvez facilement intégrer vos modèles d'IA physique à vos applications dans le Cloud, les Data Centers et les stations de travail.
Vous pouvez également utiliser NVIDIA DGX Cloud pour entraîner des modèles d'IA et les déployer n'importe où à grande échelle.
Les trois sont des WFM avec des rôles distincts :
- Cosmos Predict génère diverses scènes vidéo à partir de texte, d'images ou de prompts vidéo, ce qui est idéal pour le post-entraînement sur des sujets tels que les robots ou les véhicules autonomes.
- Cosmos Transfer applique un transfert de style multi-contrôle (changement d'éclairage et d'environnement) sur les vidéos basées sur la physique, celles-ci étant souvent créées avec des simulateurs tels que NVIDIA Omniverse™.
- Cosmos Reason répond aux requêtes en raisonnant sur des entrées vidéo et d'images. Cosmos Reason peut générer de nouvelles invites textuelles diversifiées à partir d'une vidéo de départ pour Cosmos Predict, ou critiquer et annoter des données synthétiques à partir de Predict et de Transfer.
Omniverse crée des simulations 3D réalistes de tâches réelles à l'aide de différentes API génératives, de kits de développement logiciel et de la technologie de rendu NVIDIA RTX.
Les développeurs peuvent entrer des simulations Omniverse sous forme de vidéos d'instructions dans les modèles Cosmos Transfer pour générer des données synthétiques photoréalistes contrôlables.
Omniverse fournit l'environnement de simulation avant et après l'entraînement, tandis que Cosmos fournit les modèles de base pour générer des données vidéo et entrainer des modèles d'IA physique.
En savoir plus sur NVIDIA Omniverse.