IA physique

NVIDIA Cosmos

Développez des modèles de fondation de monde pour faire progresser l'IA physique.

Télécharger à partir de GitHub

Aperçu

Qu'est-ce que NVIDIA Cosmos ?

NVIDIA Cosmos™ est une plateforme avec des modèles de fondation en monde ouvert (WFM), des garde-fous et des bibliothèques de traitement des données pour accélérer le développement de l’IA physique pour les véhicules autonomes, les robots et les agents d'IA d'analyse vidéo.

Options de démarrage

Ce livre de recettes vous présente un guide pratique pour les modèles ouverts de Cosmos. Il propose des workflows détaillés, des recettes techniques et des exemples concrets pour la conception, l’adaptation et le déploiement de WFM.

Découvrir les recettes

Comment faire évoluer la génération de données pour l'IA physique avec le NVIDIA Cosmos cookbook

Dans cet article, nous allons tester les recettes de Cosmos Transfer pour modifier des arrière-plans vidéo, ajouter de nouvelles conditions environnementales à des données de conduite, générer des données pour la navigation robotique et générer des données synthétiques pour des scénarios de trafic urbain.

Lire l'article

Modèles

Modèles de fondation en monde ouvert pour l'IA physique

Modèles ouverts et entièrement personnalisables pré-entraînés pour la génération et la compréhension du monde.

Cosmos Predict

Prédisez les états futurs d’environnements dynamiques pour la planification de robotique et d’agents d’IA.

Ce modèle multimodal permet de générer jusqu’à 30 secondes de vidéo haute fidélité à partir d’invites multimodales.

Démarrer sur Github

Cosmos Transfer

Accélérez la génération de données synthétiques dans divers environnements et conditions d'éclairage.

Ce modèle multi-commandes transforme les entrées 3D ou spatiales à partir de frameworks de simulation d'IA physique, tels que CARLA ou NVIDIA Isaac Sim™, en vidéos entièrement contrôlées et haute fidélité.

Démarrer sur Github

Cosmos Reason

Permettez aux robots et aux agents de vision avec l'IA de raisonner comme des humains. 

Ce modèle de langage de vision multimodal (VLM) s’appuie sur des connaissances préalables, des connaissances physiques approfondies et du bon sens pour comprendre le monde réel et interagir avec lui.

Démarrer sur Github

Traitement des données

Accélérez le traitement et la génération efficaces des jeux de données.

Filtrez, annotez et dédupliquez rapidement d’importants volumes de données de capteurs nécessaires au développement de l’IA physique avec Cosmos Curator. 

Vous pouvez également interroger instantanément ces jeux de données et récupérer des scénarios avec NVIDIA Cosmos Dataset Search (CDS).

Télécharger Cosmos Curator sur GitHub
Télécharger Cosmos Dataset Search

Cas d'utilisation

Comment Cosmos accélère l'IA dans les industries

Utilisez les WFM de Cosmos pour simuler, raisonner et générer des données pour des pipelines en aval en robotique, en véhicules autonomes et en systèmes de vision industrielle.

Robot Learning

Les robots ont besoin de données d'entraînement vastes et diversifiées pour percevoir et interagir efficacement avec leur environnement. Les WFM de Cosmos résolvent ce problème de plusieurs manières :

  • Générer des données synthétiques avec Cosmos Transfer.
  • Post-entraînement de Cosmos Predict pour votre politique de robotique.
  • Raisonner et filtrer des données synthétiques avec Cosmos Reason.
Voir les exemples

Entraînement des véhicules autonomes

Les données de capteurs diversifiées et haute fidélité sont essentielles pour entraîner, tester et valider en toute sécurité les véhicules autonomes. Mais cette mise à niveau est aussi chronophage que coûteuse.

Grâce aux modèles de WFM Cosmos post-entraînés sur les données du véhicule, vous pouvez :

  • Amplifier la diversité de vos données existantes avec de nouvelles données météorologiques, d’éclairage et de géolocalisation grâce à Cosmos Transfer.
  • Enrichir les vues multi-capteurs à l'aide de Cosmos Predict.
En savoir plus

Agents d'IA pour l'analyse vidéo

Renforcez l’automatisation, la sécurité et l’efficacité opérationnelle dans les environnements industriels et urbains. 

  Avec Cosmos Reason, les agents d'IA peuvent analyser, synthétiser et interagir avec des flux vidéo en temps réel ou enregistrés afin de :

  • Proposer des alertes et des réponses aux questions en temps réel.
  • Fournir des informations contextuelles riches.
En savoir plus

Options de démarrage

Démarrer avec NVIDIA Cosmos

1

Vous êtes prêt à construire ? Accédez directement à vos modèles et à votre code.

Voir GitHub

2

Pas encore prêt à construire ? Testez les modèles Cosmos dans notre catalogue hébergé.

Essayer maintenant

3

Vous avez besoin d’aide ? Démarrez rapidement avec nos recettes de modèles.

Parcourir le livre de recettes

Trustworthy AI

Aider la communauté de l'IA physique

Les modèles, les barrières de sécurité et les générateurs de jetons Cosmos sont disponibles sur Hugging Face et GitHub et sont accompagnés de ressources pour aider à gérer la rareté des données lors de l'entraînement des modèles d'IA physique. .

Infrastructure d’IA

Obtenez les meilleures performances avec NVIDIA Blackwell

Les serveurs NVIDIA RTX PRO 6000 de la série Blackwell accélèrent le développement de l'IA physique des robots, des véhicules autonomes et des agents d'IA dans l'entraînement, la génération de données synthétiques, la simulation et l'inférence.

Débloquez des performances maximales des modèles de fondation de monde Cosmos sur NVIDIA Blackwell GB200 pour les charges de travail de post-entraînement et d'inférence industriels.

En savoir plus

Écosystème

Adopté par les principaux innovateurs en IA physique

Les développeurs de modèles dans les secteurs de la robotique, des véhicules autonomes et de la vision par l'IA utilisent Cosmos pour accélérer le développement de l'IA physique.

Étapes suivantes

Rejoignez la communauté Cosmos

TConnectez-vous aux experts de Cosmos, interagissez avec d’autres développeurs, fournissez des commentaires sur le modèle et accédez à un apprentissage continu via des livestreams et des recettes.

S'inscrire

Cosmos Cookbook

Guide complet pour travailler avec l'écosystème NVIDIA Cosmos pour des applications concrètes et spécifiques à un domaine en robotique, en simulation, en systèmes autonomes et en compréhension des scènes physiques.

En savoir plus

Créer des agents d'IA pour l'analyse vidéo

Utilisez Cosmos Reason avec NVIDIA Blueprint pour la recherche et la synthèse vidéo (VSS) afin de développer des agents d'IA pour une compréhension vidéo évolutive en temps réel.

Essayer maintenant

Ressources

Dernières nouveautés des développeurs de Cosmos

Voir tous les articles techniques Voir toute l'actualité sur le sujet
Voir tout
Voir tout

Garantir une conduite autonome sûre avec NVIDIA Halos

Augmenter les données des véhicules autonomes avec Omniverse et Cosmos

Comment la simulation permet des véhicules autonomes plus sûrs | Foretellix

Accélérer le développement des véhicules autonomes avec NVIDIA Omniverse et Cosmos

Comment les robots apprennent à être des robots : entraînement, simulation et déploiement dans le monde réel

Comment les cerveaux robotiques rêvent et explorent des mondes méconnus

Développez et testez des agents d'IA pour les villes intelligentes sur des jumeaux numériques

NVIDIA Cosmos : une plateforme de modèles de fondation de mondes pour l'IA physique

Générer des données synthétiques pour l'IA physique avec NVIDIA Cosmos

Simulation de véhicules autonomes avec NVIDIA Omniverse et Cosmos

Utilisation des modèles NVIDIA Cosmos World Foundation pour le développement de l'IA physique

Foire aux questions

Les WFM de Cosmos sont disponibles dans le cadre d'une licence de modèle ouvert de NVIDIA pour tous.

Référez-vous au nouveau Cosmos Cookbook qui contient des recettes étape par étape et des scripts de post-entraînement pour développer, personnaliser et déployer rapidement les modèles de fondation de monde Cosmos de NVIDIA pour la robotique et les systèmes autonomes.

Oui, vous pouvez exploiter Cosmos pour développer à partir de zéro avec votre modèle de fondation ou votre architecture de modèle préféré. Vous pouvez commencer par utiliser Cosmos Curator pour le prétraitement des données vidéo. Ensuite, compressez et décodez vos données avec Cosmos tokenizer. Une fois que vous avez traité vos données, vous pouvez entraîner ou ajuster votre modèle.

Grâce aux microservices NVIDIA NIM™, vous pouvez facilement intégrer vos modèles d'IA physique à vos applications dans le Cloud, les Data Centers et les stations de travail.

Vous pouvez également utiliser NVIDIA DGX Cloud pour entraîner des modèles d'IA et les déployer n'importe où à grande échelle.

Les trois sont des WFM avec des rôles distincts :

  • Cosmos Predict génère diverses scènes vidéo à partir de texte, d'images ou de prompts vidéo, ce qui est idéal pour le post-entraînement sur des sujets tels que les robots ou les véhicules autonomes.
  • Cosmos Transfer applique un transfert de style multi-contrôle (changement d'éclairage et d'environnement) sur les vidéos basées sur la physique, celles-ci étant souvent créées avec des simulateurs tels que NVIDIA Omniverse™.
  • Cosmos Reason répond aux requêtes en raisonnant sur des entrées vidéo et d'images. Cosmos Reason peut générer de nouvelles invites textuelles diversifiées à partir d'une vidéo de départ pour Cosmos Predict, ou critiquer et annoter des données synthétiques à partir de Predict et de Transfer.

Cosmos Reason peut générer de nouvelles invites textuelles diversifiées à partir d'une vidéo de départ pour Cosmos Predict, ou critiquer et annoter des données synthétiques à partir de Predict et de Transfer.

Omniverse crée des simulations 3D réalistes de tâches réelles à l'aide de différentes API génératives, de kits de développement logiciel et de la technologie de rendu NVIDIA RTX.

Les développeurs peuvent entrer des simulations Omniverse sous forme de vidéos d'instructions dans les modèles Cosmos Transfer pour générer des données synthétiques photoréalistes contrôlables.

Omniverse fournit l'environnement de simulation avant et après l'entraînement, tandis que Cosmos fournit les modèles de base pour générer des données vidéo et entrainer des modèles d'IA physique.

En savoir plus sur NVIDIA Omniverse.