IA fisica

NVIDIA Cosmos

Sviluppa modelli di fondazione del mondo per far progredire l'IA fisica.

Scarica da GitHub Prova ora

Panoramica

Cos'è NVIDIA Cosmos?

NVIDIA Cosmos™ è una piattaforma all'avanguardia con modelli di fondazione del mondo (WFM) generativi, tokenizzatori avanzati, guardrail e una pipeline di elaborazione e selezione dei dati accelerata. È progettata per favorire l'addestramento dei modelli del mondo e accelerare lo sviluppo dell'IA fisica per veicoli autonomi e robot.

NVIDIA apre portali nel mondo della robotica con i nuovi modelli di IA fisica Cosmos

Scopri come le nuove versioni dei modelli NVIDIA Cosmos, tra cui Cosmos Transfer e Reason, facilitano la generazione e la comprensione del mondo per veicoli autonomi, robot e agenti IA per l'analisi video.

Leggi il comunicato stampa

I pionieri del settore costruiscono agenti più intelligenti con nuovi modelli di ragionamento NVIDIA Nemotron e Cosmos

I modelli di ragionamento aperto forniscono un pensiero più rapido ed esteso per generare risultati più intelligenti per gli agenti IA in ambiti come l'assistenza ai clienti, la produzione, la logistica e la robotica.

Leggi il blog

Vantaggi

Accelera la generazione di mondi virtuali per l'IA fisica

Cosmos consente ai team di sviluppo di accedere facilmente a modelli di fondazione del mondo ad alte prestazioni, pipeline di dati e strumenti per la generazione di dati sintetici e per l'esecuzione del post-training per le applicazioni di robotica e guida autonoma.

Dati basati sulla fisica

I modelli multimodali sono pre-addestrati su 20 milioni di ore di robotica e generano dati per generare stati del mondo basati sulla fisica.

Aperto

I WFM, i guardrail e i tokenizzatori di Cosmos sono concessi in licenza ai sensi della licenza NVIDIA Open Model License, che consente l'accesso a tutti gli sviluppatori di IA fisica.

Per un miglioramento continuo dei sistemi autonomi

Crea facilmente cicli per la gestione, l'arricchimento, la valutazione e la simulazione dei dati grazie ai modelli e agli strumenti creati per lo sviluppo di modelli di fondazione per l'IA fisica di tipo personalizzato.

Scala rapidamente

Distribuisci rapidamente i WFM Cosmos utilizzando i microservizi NIM e scala i flussi di lavoro per la generazione di dati sintetici e l'intelligenza artificiale agentica.

Modelli aperti

Modelli Cosmos per l'IA fisica

Modelli generativi multimodali pre-addestrati e pronti all'uso da parte degli sviluppatori, per la generazione di mondi o il ragionamento oppure per il post-addestramento finalizzato allo sviluppo di modelli di IA fisica specializzati.

Cosmos Predict

Un modello di previsione all'avanguardia in grado di generare fino a 30 secondi di video continui da ingressi multimodali con velocità, fedeltà e massima corrispondenza ai prompt.

Cosmos Transfer

Modello multicontrollo per scalare rapidamente una singola simulazione o un video spaziale in vari ambienti e condizioni di illuminazione.

Accelera gli input 3D da framework di simulazione fisica IA, come CARLA o NVIDIA Isaac Sim™, per consentire l'aumento dei dati completamente controllabile e pipeline di generazione di dati sintetici.

Cosmos Reason

Modello di linguaggio visivo completamente personalizzabile (VLM) che eccelle nella comprensione del mondo fisico come gli esseri umani utilizzando il ragionamento strutturato su video e immagini.

Pensato per alimentare gli agenti IA per l'analisi video al run-time con la comprensione spazio-temporale delle operazioni urbane e industriali, per selezionare i dati di training per la robotica e i veicoli autonomi (AV) e favorire il processo decisionale dei robot.

Selezione e gestione dei dati

NVIDIA Cosmos Curator è un framework che consente agli sviluppatori di filtrare, annotare e deduplicare rapidamente grandi quantità di dati dei sensori necessari per lo sviluppo di IA fisica, creando set di dati personalizzati per soddisfare le esigenze dei modelli.

Accelera l'elaborazione e la generazione efficiente dei set di dati.

Scarica ora da GitHub

Strumenti

Modelli di fondazione del mondo Cosmos post-addestramento

Cosmos offre ai team di sviluppo pipeline di gestione di dati aperte e ad alte prestazioni, tokenizzatori, framework di addestramento e script di post-addestramento per creare in modo rapido e facile modelli del mondo specializzati come modelli di policy e modelli di azione in linguaggio visivo (VLA) per l'IA incorporata.

Tokenizza in modo efficiente i dati video

Utilizza i tokenizzatori Cosmos per generare token di immagini o video a tassi di compressione superiori, per uno sviluppo scalabile, affidabile ed efficiente dei modelli di mondo di grandi dimensioni. Scegli le varianti ad alta risoluzione o a bassa risoluzione per l'addestramento dei WFM Cosmos in modelli IA specializzati.

Scopri di più

Accelera la gestione dei dati

Accelera la gestione dei dati di 20 volte con la pipeline NVIDIA NeMo™ Curator di CUDA-X™ e gli strumenti accelerati dall'IA NVIDIA per l'elaborazione di oltre 100 PB di dati. Fornisce ottimizzazioni predefinite, riducendo al minimo il costo totale di proprietà (TCO) e accelerando il time-to-market.

Scopri di più

Script post-addestramento

Personalizza i WFM Cosmos per i casi d'uso dell'IA fisica downstream utilizzando gli script PyTorch. Esegui il post-addestramento dei modelli per generare azioni o testo oppure modifica lunghezza, precisione, vista e controlli della fotocamera per adattarli agli scenari e ai requisiti del mondo reale.

Scopri di più

Hardware

Ottieni le migliori prestazioni con NVIDIA AI

I WFM Cosmos sono completamente ottimizzati per le GPU NVIDIA di fascia alta, comprese quelle basate sulla più recente architettura Blackwell.

Esegui su NVIDIA Blackwell

Per le aziende che gestiscono modelli multimodali di grandi dimensioni e personalizzati, come i modelli di fondazione del mondo Cosmos, la tecnologia GB200 di NVIDIA offre velocità e scalabilità leader del settore per i carichi di lavoro con miliardi di parametri o più. Accedi a NVIDIA DGX Cloud per sviluppare supercluster IA di nuova generazione e applicazioni IA fisiche su larga scala.

Gli sviluppatori di AI fisica possono sfruttare le piattaforme server e workstation con GPU NVIDIA RTX PRO 6000 Blackwell e DGX Cloud per accelerare la generazione di dati sintetici utilizzando Omniverse e Cosmos. Questa combinazione consente di generare rapidamente dati sintetici basati sulla fisica e offre un aiuto prezioso nei campi della robotica avanzata e delle auto a guida autonoma e nei flussi di lavoro di simulazione.

Scopri di più

Scenari di utilizzo

Come Cosmos accelera l'IA in tutti i settori

Utilizza i modelli di base del mondo Cosmos per simulare, ragionare e generare dati per progetti di robotica, veicoli autonomi e sistemi di visione industriale.

Learning dei robot

I robot hanno bisogno di dati di training vasti e diversi per percepire e interagire efficacemente con gli ambienti. Con Cosmos WFM, gli sviluppatori possono generare dati sintetici controllabili e ad alta fedeltà per addestrare i modelli di percezione e di policy dei robot.

Scopri di più

Training di veicoli autonomi

I dati dei sensori ad alta fedeltà sono fondamentali per eseguire in sicurezza il training, i test e la convalida dei veicoli autonomi. Con i WFM Cosmos post-addestrati sui dati dei veicoli, gli sviluppatori possono ampliare la diversità dei dati esistenti con nuove modalità meteorologiche, di illuminazione e di geolocalizzazione, o espanderli in visualizzazioni multisensore, risparmiando tempo e costi significativi.

Scopri di più

Agenti IA per analisi video

Questi agenti IA possono analizzare, riassumere e interagire con flussi video in tempo reale o registrati per migliorare l'automazione, la sicurezza e l'efficienza operativa in ambienti industriali e urbani.

Cosmos Reason è un modello di linguaggio visivo personalizzabile (VLM) che alimenta gli agenti AI per l'analisi video con una comprensione avanzata e una capacità di ragionamento spazio-temporale per il mondo fisico. Questi agenti IA forniscono risposte a domande in tempo reale, avvisi rapidi e approfondimenti contestuali, alimentando sistemi più intelligenti e reattivi in implementazioni edge e cloud.

Scopri di più

IA affidabile

Sostenere la comunità dell'IA fisica

I modelli Cosmos, i guardrail e i tokenizer sono disponibili su Hugging Face e GitHub, con risorse per affrontare la carenza di dati nell'allenamento dei modelli fisici di IA.

Infrastruttura IA

Ottieni le migliori prestazioni con NVIDIA Blackwell

I server NVIDIA RTX PRO 6000 serie Blackwell accelerano lo sviluppo di IA fisica per robot, veicoli autonomi e agenti IA attraverso il training, la generazione di dati sintetici, la simulazione e l'inferenza.

Sblocca le prestazioni massime dei modelli di base del mondo Cosmos su NVIDIA Blackwell GB200 per carichi di lavoro di post-raining e inferenza industriali.

Scopri di più

Ecosistema

Adottato dai principali innovatori di IA fisica

Gli sviluppatori di modelli nei settori della robotica, dei veicoli autonomi e dell'IA visiva utilizzano Cosmos per accelerare lo sviluppo dell'IA fisica.

Prossimi passi

Vuoi iniziare?

Prova uno dei modelli di fondazione del mondo nel catalogo delle API NVIDIA o inizia a progettare i tuoi modelli del mondo utilizzando NVIDIA Cosmos.

Provalo subito Inizia a sviluppare

WFM post-treno

I WFM Cosmos sono appositamente progettati per il post-training e per sbloccare potenti modelli downstream che accelerano lo sviluppo dell'IA fisica.

Scopri di più

Gestisci i dati video per i modelli del mondo

Sfrutta una pipeline di elaborazione e selezione dei dati accelerata basata su NVIDIA NeMo Curator e ottimizzata per le GPU dei data center NVIDIA.

Scarica ora da GitHub

Risorse

Le ultime notizie dagli sviluppatori Cosmos

Vedi tutti i blog tecnici Vedi tutte le news
Vedi tutto
Vedi tutto

FAQ

Inizia consultando la documentazione. I modelli fondamentali del mondo Cosmos sono pubblicamente disponibili su Hugging Face con script per l'inferenza e il post-training su GitHub. Gli sviluppatori e le sviluppatrici possono inoltre utilizzare il tokenizzatore Cosmos da  /NVIDIA/cosmos-tokenizer su GitHub e Hugging Face.

I WFM di Cosmos sono disponibili su licenza NVIDIA Open Model, per tutti.

Gli script PyTorch sono disponibili pubblicamente per tutti i modelli Cosmos per il post-training. Leggi la documentazione per informazioni dettagliate sul post-addestramento.

Sì, puoi utilizzare Cosmos per creare da zero con il tuo modello di fondazione o l'architettura di modello preferiti. Puoi iniziare utilizzando NeMo Curator per la pre-elaborazione dei dati video. Quindi comprimi e decodifica i tuoi dati con il tokenizzatore Cosmos. Una volta elaborati i dati, puoi addestrare o ottimizzare il modello utilizzando NVIDIA NeMo.

Utilizzando i microservizi NVIDIA NIM™, puoi integrare facilmente i modelli di IA fisica nelle applicazioni cloud, nei data centers e nelle workstation.

Puoi anche utilizzare NVIDIA DGX Cloud per addestrare i modelli IA e distribuirli ovunque su larga scala.

Tutti e tre sono modelli WFM con ruoli distinti:

  • Cosmos Predict genera scene video diverse a partire da prompt in formato testo, immagini o video; è ideale per la messa a punto di soggetti come robot o auto a guida autonoma.
  • Cosmos Transfer applica il trasferimento in stile multicontrollo, modificando l'illuminazione e gli ambienti, su video a base fisica, spesso creati in simulatori come NVIDIA Omniverse.
  • Cosmos Reason risponde alle query di testo ragionando su input video e immagini.

Cosmos Reason può generare nuovi e diversi messaggi di testo da un video iniziale per Cosmos Predict, o criticare e annotare dati sintetici da Predict e Transfer.

Omniverse crea simulazioni 3D realistiche di attività del mondo reale utilizzando diverse API generative, SDK e la tecnologia di rendering NVIDIA RTX.

Gli sviluppatori possono immettere le simulazioni Omniverse come video di istruzioni nei modelli Cosmos Transfer per generare dati sintetici fotorealistici controllabili.

Insieme, Omniverse fornisce ambienti di simulazione pre- e post- addestramento, mentre Cosmos fornisce modelli di fondazione per generare dati video e addestrare i modelli di IA fisica.

Scopri di più su NVIDIA Omniverse.