IA fisica

NVIDIA Cosmos

Sviluppa modelli di fondazione del mondo per far progredire l'IA fisica.

Scarica da GitHub

Panoramica

Cos'è NVIDIA Cosmos?

NVIDIA Cosmos™ è una piattaforma con modelli di base del mondo (WFM) aperti, guardrail e librerie di elaborazione dati per accelerare lo sviluppo di IA fisica per veicoli autonomi, robot e agenti IA per l'analisi video.

Cosmos Cookbook

Questo cookbook funge da guida pratica per i modelli aperti Cosmos. Offre flussi di lavoro dettagliati, ricette tecniche ed esempi concreti per creare, adattare e distribuire WFM.

Esplora le ricette

Come scalare la generazione di dati per l'IA fisica con NVIDIA Cosmos Cookbook

In questo blog, campioneremo le ricette Cosmos Transfer per cambiare gli sfondi video, aggiungere nuove condizioni ambientali ai dati di guida, generare dati per la navigazione robotica e generare dati sintetici per gli scenari di traffico urbano.

Leggi il blog

Modelli

Modelli di base del mondo per l'IA fisica

Modelli pre-addestrati aperti e completamente personalizzabili per la generazione e la comprensione di mondi.

Cosmos Predict

Prevedere gli stati futuri di ambienti dinamici per la pianificazione di robot e agenti IA.

Questo modello per la generazione di mondi produce fino a 30 secondi di video ad alta fedeltà da prompt multimodali.

Guida introduttiva su Github

Cosmos Transfer

Accelera la generazione di dati sintetici in vari ambienti e condizioni di illuminazione.

Questo modello multicontrollo trasforma input 3D o spaziali da framework di simulazione fisica IA, come CARLA o NVIDIA Isaac Sim™, in video ad alta fedeltà completamente controllati.

Guida introduttiva su Github

Cosmos Reason

Consenti ai robot e agli agenti di IA visiva di ragionare come gli umani. 

Questo modello linguistico visivo (VLM) multimodale sfrutta le conoscenze precedenti, la comprensione della fisica e il senso comune per comprendere il mondo reale e interagire con esso.

Guida introduttiva su Github

Elaborazione dei dati

Accelera l'elaborazione e la generazione efficienti di set di dati.
Filtra, annota e deduplica rapidamente grandi quantità di dati dei sensori necessari per lo sviluppo di IA fisica con Cosmos Curator. 
Puoi anche eseguire query su questi set di dati e recuperare scenari istantaneamente con NVIDIA Cosmos Dataset Search (CDS).

Scarica Cosmos Curator su GitHub
Scarica Cosmos Dataset Search

Casi d'uso

Come Cosmos accelera l'IA in diversi settori

Utilizza i WFM di Cosmos per simulare, fare ragionamenti e generare dati per le pipeline downstream di robotica, veicoli autonomi e sistemi di visione industriale.

Robot Learning

I robot hanno bisogno di dati di addestramento vasti e diversificati per percepire e interagire efficacemente con l'ambiente. I WFM Cosmos risolvono questo problema in diversi modi:

  • Generano dati sintetici con Cosmos Transfer.
  • Post-addestrano Cosmos Predict in base alla tua policy per i robot.
  • Ragionano e filtrano i dati sintetici con Cosmos Reason.
Vedi gli esempi

Addestramento dei veicoli autonomi

I dati dei sensori diversificati e ad alta fedeltà sono fondamentali per addestrare, testare e convalidare in modo sicuro i veicoli autonomi. Ma è difficile, richiede tempo ed è costoso da scalare.

Con i WFM Cosmos post-addestrati sui dati del veicolo, puoi:

  • Amplificare la diversità dei dati esistenti con nuovi dati su meteo, illuminazione e geolocalizzazione utilizzando Cosmos Transfer.
  • Espandere le viste multi-sensore con Cosmos Predict.
Vedi gli esempi

Agenti IA per l'analisi video

Migliora l'automazione, la sicurezza e l'efficienza operativa in ambienti industriali e urbani. 

Con Cosmos Reason, gli agenti IA possono analizzare, riepilogare e interagire con stream video in tempo reale o registrati per:

  • Rispondere a domande e fornire avvisi in tempo reale.
  • Fornire informazioni contestuali avanzate.
Scopri di più

Opzioni per iniziare

Inizia a usare NVIDIA Cosmos

1

Pronto a creare? Accedi direttamente a modelli e codici.

Vedi GitHub

2

Non sei ancora pronto a creare? Prova i modelli Cosmos nel nostro catalogo in hosting.

Provalo subito

3

Serve aiuto? Inizia subito con le nostre ricette pratiche per i modelli.

Sfoglia il cookbook

IA affidabile

Supportare la community dell'IA fisica

I modelli Cosmos, i guardrail e i tokenizzatori sono disponibili su Hugging Face e GitHub, con risorse per affrontare la scarsità di dati nell'addestramento dei modelli di IA fisica.

Infrastruttura IA

Ottieni le migliori prestazioni con NVIDIA Blackwell

I server NVIDIA RTX PRO 6000 Serie Blackwell accelerano lo sviluppo dell'IA fisica per robot, veicoli autonomi e agenti IA per addestramento, generazione di dati sintetici, simulazione e inferenza.

Sblocca il massimo delle prestazioni per i modelli di base di Cosmos su NVIDIA Blackwell GB200 per i carichi di lavoro industriali di post-addestramento e inferenza.

Scopri di più

Ecosistema

Adottato dai principali innovatori di IA fisica

Gli sviluppatori di modelli nei settori della robotica, dei veicoli autonomi e dell'IA visiva utilizzano Cosmos per accelerare lo sviluppo dell'IA fisica.

Prossimi passi

Unisciti alla community di Cosmos

Entra in contatto con gli esperti di Cosmos, interagisci con gli altri sviluppatori, fornisci feedback sui modelli e accedi alla formazione continua con livestream e ricette specifiche.

Iscriviti ora

Cosmos Cookbook

Una guida completa per lavorare con l'ecosistema NVIDIA Cosmos per le applicazioni del mondo reale e specifiche per dominio quali robotica, simulazioni, sistemi autonomi e comprensione fisica della scena.

Scopri di più

Creare agenti IA per l'analisi video

Utilizza Cosmos Reason con NVIDIA Blueprint per la ricerca e il riepilogo video (VSS) per creare agenti IA per la comprensione dei video scalabile e in tempo reale.

Provalo subito

Risorse

Ultime notizie dagli sviluppatori Cosmos

Vedi tutti i blog tecnologici Vedi tutte le novità sugli argomenti
Vedi tutto
Vedi tutto

Garantire una guida autonoma sicura con NVIDIA Halos

Scalare i dati AV con Omniverse e Cosmos

Come la simulazione rende possibili veicoli autonomi più sicuri | Foretellix

Accelerare lo sviluppo degli AV con NVIDIA Omniverse e Cosmos

Come i robot imparano ad essere robot: addestramento, simulazione e distribuzione nel mondo reale

Come il cervello dei robot sogna ed esplora i mondi inesplorati

Crea e testa agenti IA per città intelligenti nei gemelli digitali

NVIDIA Cosmos: la piattaforma WFM per l'IA fisica

Generare dati sintetici per l'IA fisica con NVIDIA Cosmos

Simulazione di veicoli autonomi con NVIDIA Omniverse e Cosmos

Usare i modelli di fondazione del mondo di NVIDIA Cosmos per lo sviluppo dell'IA fisica

FAQ

I WFM di Cosmos sono disponibili per tutti mediante una licenza NVIDIA Open Model.

Fai riferimento al nuovo Cosmos Cookbook che contiene ricette passo-passo e script di post-addestramento per creare, personalizzare e distribuire rapidamente i modelli di base del mondo Cosmos di NVIDIA per la robotica e i sistemi autonomi.

Sì, puoi utilizzare Cosmos per creare da zero con il tuo modello di fondazione o l'architettura di modello preferiti. Puoi iniziare con Cosmos Curator per la pre-elaborazione dei dati video. Quindi comprimi e decodifica i tuoi dati con il tokenizzatore Cosmos. Una volta elaborati i dati, puoi addestrare o perfezionare il modello.

Utilizzando i microservizi NVIDIA NIM™, puoi integrare facilmente i modelli di IA fisica nelle applicazioni cloud, nei data centers e nelle workstation.

Puoi anche utilizzare NVIDIA DGX Cloud per addestrare i modelli IA e distribuirli ovunque su larga scala.

Tutti e tre sono dei WFM con ruoli distinti:

  • Cosmos Predict genera diverse scene video da prompt di testo, immagini o video ed è l'ideale per il post-addestramento, ad esempio, di robot o auto a guida autonoma.
  • Cosmos Transfer applica il trasferimento di stili multi-controllo, modificando l'illuminazione e gli ambienti, su video basati sulla fisica, spesso creati in simulatori come NVIDIA Omniverse™.
  • Cosmos Reason risponde alle query ragionando sugli input di video e immagini. Cosmos Reason può generare prompt di testo nuovi e diversi da un video iniziale per Cosmos Predict, o esaminare e annotare i dati sintetici generati da Cosmos Predict e Cosmos Transfer.

Cosmos Reason può generare prompt di testo nuovi e diversi da un video iniziale per Cosmos Predict, o esaminare e annotare i dati sintetici generati da Cosmos Predict e Cosmos Transfer.

Omniverse crea simulazioni 3D realistiche di attività del mondo reale utilizzando diverse API generative, SDK e la tecnologia di rendering NVIDIA RTX.

Gli sviluppatori possono immettere le simulazioni Omniverse come video di istruzioni nei modelli Cosmos Transfer per generare dati sintetici fotorealistici controllabili.

Insieme, Omniverse fornisce ambienti di simulazione pre- e post-addestramento, mentre Cosmos fornisce modelli di fondazione per generare dati video e addestrare i modelli di IA fisica.

Scopri di più su NVIDIA Omniverse.