IA physique
NVIDIA Cosmos
Développez l'IA physique plus rapidement avec les principaux modèles de fondation au monde et des frameworks de traitement, d'entraînement et d'évaluation des données ouvertes.
Cosmos 3
Le modèle de fondation d'IA physique ouverte
Le premier omni-modèle avec génération native de raisonnements, de mondes et d'actions. Basé sur le système Mixture-of-Transformers.
Alimentez le raisonnement par vision avec l'IA
Utilisez-le comme modèle de langage de vision (VLM) pour raisonner avec des objets, des interactions et des intentions dans des scénarios complexes et réels.
Pour les alertes en temps réel et le légendage dense dédiés à l'inspection de la qualité, la sécurité publique, la surveillance du trafic, la logistique et la conduite autonome.
Créez des modèles de politiques
Accélérez l'apprentissage des politiques par les robots avec NVIDIA Cosmos™ 3 pour structurer les Modèles d'action du monde (World Action Models, WAM).
Post-entraînez le modèle de fondation du monde généralisé à l'aide de données de caméra et d'incarnation spécialisées. Le modèle de politique adapte les actions pré-apprises à des tâches, des domaines et des comportements spécifiques à grande échelle.
Simulez des mondes
Procédez à une simulation de monde contrôlable et basée sur la physique pour prédire de multiples approches, évaluer les résultats en boucle fermée et trouver le bon comportement.
Adaptez la boucle à travers les environnements, les tâches et les conditions pour progresser en continu sans prendre de risque concret.
Faites évoluer les données vidéo synthétiques
Générez des futurs plausibles à l'infini à partir de textes, d'images, de vidéos, de sons ambiants et d'actions.
Utilisez la génération vidéo comme imagination pour entraîner l'IA physique sans la contrainte imposée de la capture physique.
Vidéo
Présentation de Cosmos
Écoutez Jensen Huang, fondateur et PDG de NVIDIA, présenter au COMPUTEX 2026 NVIDIA Cosmos 3, le modèle de fondation le plus avancé au monde, conçu pour aider les développeurs à créer des systèmes autonomes capables de comprendre, de simuler et d'agir dans le monde réel.
Options de démarrage
Démarrer avec NVIDIA Cosmos
Développez avec Cosmos
Bénéficiez de la technologie qui alimente Cosmos 3. Ses frameworks ouverts et les compétences associées permettent aux développeurs du monde entier de personnaliser, d'étendre et de contribuer à l'IA physique.
Conservation des données
Filtrez, annotez et dédupliquez rapidement de grandes quantités de données de capteurs avec Cosmos Curator.
Examinez et notez les sorties vidéo génératives à l'échelle à l'aide de Cosmos Evaluator.
Entraînement et accélération
Créez, post-entraînez ou déployez rapidement des modèles de monde à l'aide de frameworks ouverts de post-entraînement, d'évaluation et d'optimisation, mais aussi de compétences et de scripts d'inférence.
Compétences des agents pour la génération de données synthétiques
Transformez les agents de codage en experts des données synthétiques pour le développement de l'IA physique.
Cas d'utilisation
Comment Cosmos accélère l'IA dans les industries
-
Robot Learning
-
Entraînement des véhicules autonomes
-
Agents d'IA d'analyse de vidéos
Robot Learning
Créez une politique d'apprentissage pour les robots qui permet aux agents incarnés d'opérer dans des environnements réels, à la fois dans des conditions visibles et invisibles.
- Post-entraînez Cosmos 3 sur des tâches, des environnements, des dispositions de caméras ou de capteurs et des politiques spécifiques à l'incarnation
- Exécutez des simulations en boucle fermée physiquement précises
- Créez un pipeline d'augmentation et d'évaluation de données synthétiques de bout en bout à l'aide des compétences des agents intégrées à Cosmos
Entraînement des véhicules autonomes
Générez des données de capteurs personnalisées, diversifiées et haute fidélité pour entraîner, tester et valider des véhicules autonomes en toute sécurité.
- Amplifiez la diversité des données existantes avec de nouvelles données météorologiques, d’éclairage et de géolocalisation
- Post-entraînez pour inclure des vues multi-capteurs
- Créez un pipeline d'augmentation et d'évaluation de données synthétiques de bout en bout à l'aide des compétences des agents intégrées à Cosmos
Agents d'IA d'analyse de vidéos
Renforcez l’automatisation, la sécurité et l’efficacité opérationnelle dans les environnements industriels et urbains.
Avec Cosmos, les agents d'IA peuvent analyser, synthétiser et interagir avec des flux vidéo en temps réel ou enregistrés afin de :
- Délivrer des alertes contextuelles en temps réel
- Interagir avec vos vidéos et extraire des informations à partir de flux de caméras en direct ou de vidéothèques à grande échelle
- Créer des agents d'IA d'analyse vidéo avec NVIDIA Metropolis Blueprint pour la recherche et la synthèse vidéo
- Générer des données d'entraînement synthétiques pour augmenter la précision de la compréhension
Performances
Exécution optimale avec NVIDIA AI
Cosmos 3 est optimisé pour offrir des performances optimales sur du matériel NVIDIA. Les serveurs NVIDIA RTX PRO™ 6000 de la série Blackwell accélèrent le développement de l'IA physique des robots, des véhicules autonomes et des agents d'IA dans l'entraînement, la génération de données synthétiques, la simulation et l'inférence.
Débloquez des performances maximales des modèles de fondation de monde Cosmos sur NVIDIA Blackwell GB200 pour les charges de travail de post-entraînement et d'inférence industriels.
Écosystème
Adopté par les principaux innovateurs en IA physique
Les développeurs de modèles dans les secteurs de la robotique, des véhicules autonomes et de la vision par l'IA utilisent Cosmos pour accélérer le développement de l'IA physique.
Étapes suivantes
Ressources
Dernières nouveautés des développeurs de Cosmos
-
Actualités récentes
-
Sessions
-
Démos
Foire aux questions
Cosmos 3 est basé sur l'architecture Mixture of Transformers. Les modules de raisonnement et de génération utilisent des transformateurs différents pour une génération et des performances efficaces. Le modèle raisonne d'abord avant de passer à la génération, ce qui permet d'obtenir une précision physique de pointe pour toutes les capacités. Découvrez-en plus sur l'architecture ici.
Les WFM de Cosmos sont disponibles dans le cadre d'une licence de modèle ouvert de NVIDIA pour tous.
Cosmos 3 est ouvertement disponible avec des scripts de post-entraînement sur GitHub pour chaque modalité et module. NVIDIA TAO 7 fournit en outre une suite de compétences et d'outils d'agent pour l'ajustement précis des modèles de vision avec l'IA incluant Cosmos 3, avec des agents de codage et des invites en langage naturel.
Oui, vous pouvez exploiter Cosmos pour développer à partir de zéro avec votre modèle de fondation ou votre architecture de modèle préféré. Vous pouvez commencer par utiliser Cosmos Curator pour le prétraitement des données vidéo. Ensuite, compressez et décodez vos données avec le générateur de jetons Cosmos. Une fois que vous avez traité vos données, vous pouvez entraîner ou ajuster votre modèle.
Grâce aux microservices NVIDIA NIM™, vous pouvez facilement intégrer vos modèles d'IA physique à vos applications dans le Cloud, les Data Centers et les stations de travail.
Vous pouvez également utiliser NVIDIA DGX Cloud pour entraîner des modèles d'IA et les déployer n'importe où à grande échelle.
Cosmos 3 est un omni-modèle capable de générer des textes, des images, des vidéos, des sons et des actions. Cosmos 2.5 et Cosmos 2 ont conservé la perception et la génération en tant que modèles distincts, tandis que leurs modalités se limitaient aux textes, aux images et aux vidéos.
Omniverse crée des simulations 3D réalistes de tâches réelles à l'aide de différentes API génératives, de kits de développement logiciel et de la technologie de rendu NVIDIA RTX.
Les développeurs peuvent intégrer des simulations Omniverse sous forme de vidéos d'instructions aux modèles Cosmos Transfer pour générer des données synthétiques contrôlables et photoréalistes.
Omniverse fournit l'environnement de simulation avant et après l'entraînement, tandis que Cosmos fournit les modèles de fondation pour générer des données vidéo et entraîner des modèles d'IA physique.
En savoir plus sur NVIDIA Omniverse.