Physical AI
NVIDIA Cosmos
Una piattaforma aperta di frontiera per creare, specializzare e distribuire modelli del mondo più rapidamente per la physical AI.
Modelli di base del mondo
Sviluppa su Cosmos 3
La famiglia di modelli omni-modello di frontiera per la physical AI con ragionamento nativo, simulazione del mondo e generazione di azioni. Basato su Mixture-of-Transformers per un'accuratezza ai vertici della classifica.
Ragiona e analizza
Utilizzalo come un modello linguistico visivo (VLM) per ragionare su oggetti, interazioni e intenzioni in scenari complessi del mondo reale.
Include avvisi in tempo reale e didascalie dense per l'ispezione di qualità, la sicurezza pubblica, il monitoraggio del traffico, la logistica e la guida autonoma.
Crea modelli specializzati
Accelera l'apprendimento delle politiche robotiche con NVIDIA Cosmos™ 3 come base per i World Action Models (WAM).
Post-addestra il modello di base del mondo generalizzato su dati specializzati di telecamere e embodiment. Il modello di politiche adatta le azioni pre-apprese ad attività, domini e comportamenti specifici su larga scala.
Simula mondi
Eseguilo come un simulatore di mondo controllabile e basato sulla fisica per prevedere gli stati del mondo a vista singola o multipla, valutare i risultati in un ciclo chiuso e convergere sul comportamento corretto.
Espandi il loop ad ambienti, attività e condizioni per migliorare continuamente senza rischi nel mondo reale.
Genera dati
Genera infiniti futuri plausibili da testo, immagini, video, suono ambientale e input di azione.
Utilizza la generazione video come immaginazione per addestrare la physical AI senza essere vincolati da ciò che è stato catturato fisicamente.
Piattaforma
Crea il tuo modello del mondo
Dati aperti, framework di addestramento e distribuzione ottimizzata per creare modelli del mondo di frontiera più rapidamente.
-
Scienza dei
-
Crea e distribuisci
Casi d'uso
Come Cosmos accelera l'IA in diversi settori
-
Addestramento dei veicoli autonomi
-
Apprendimento robotico
-
Agenti IA per l'analisi video
Addestramento dei veicoli autonomi
Genera dati dei sensori personalizzati, diversificati e ad alta fedeltà per addestrare, testare e convalidare in modo sicuro i veicoli autonomi.
- Amplifica la diversità dei dati esistenti con nuovi dati su meteo, illuminazione e geolocalizzazione
- Post-addestramento per l'espansione nelle visualizzazione multi-sensore
- Crea una pipeline completa di aumento e valutazione dei dati sintetici utilizzando le competenze degli agenti basate su Cosmos
Apprendimento robotico
Crea una politica di apprendimento robotico che consenta agli embodied agent di operare in ambienti del mondo reale in condizioni sia note che ignote.
- Esegui il post-addestramento di Cosmos 3 su attività specifiche per l'embodiment, ambienti, disposizione di telecamere o sensori e politiche
- Esegui simulazioni a loop chiuso fisicamente accurate
- Crea una pipeline completa di aumento e valutazione dei dati sintetici utilizzando le competenze degli agenti basate su Cosmos
Agenti IA per l'analisi video
Migliora l'automazione, la sicurezza e l'efficienza operativa in ambienti industriali e urbani.
Con Cosmos, gli agenti IA possono analizzare, riepilogare e interagire con stream video in tempo reale o registrati per:
- Fornire avvisi contestuali in tempo reale
- Parlare con i tuoi video ed estrarre informazioni dai feed delle telecamere dal vivo o dalle librerie video su larga scala
- Crea agenti IA per l'analisi video con NVIDIA Metropolis Blueprint per la ricerca e il riepilogo video
- Genera dati di addestramento sintetici per aumentare ulteriormente l'accuratezza della comprensione
Prestazioni
Esecuzione consigliata su NVIDIA AI
Cosmos 3 offre prestazioni ottimali sull'hardware NVIDIA. I server NVIDIA RTX PRO™ 6000 Serie Blackwell accelerano lo sviluppo della physical AI per robot, veicoli autonomi e agenti IA per addestramento, generazione di dati sintetici, simulazione e inferenza.
Sblocca il massimo delle prestazioni per i modelli di base di Cosmos su NVIDIA Blackwell GB200 per i carichi di lavoro industriali di post-addestramento e inferenza.
Ecosistema
Adottato dai principali innovatori di physical AI
Gli sviluppatori di modelli nei settori della robotica, dei veicoli autonomi e dell'IA visiva utilizzano Cosmos per accelerare lo sviluppo della physical AI.
Prossimi passi
Risorse
Ultime notizie dagli sviluppatori Cosmos
-
Ultime notizie
-
Keynote
-
Live stream
-
Sessioni
-
Demo
Domande frequenti
NVIDIA Cosmos è una piattaforma aperta per la creazione di modelli del mondo, con modelli di base del mondo di frontiera, set di dati aperti, framework di addestramento e ottimizzazione e blueprint per l'elaborazione e la generazione dei dati per tutto il ciclo di vita dello sviluppo.
Cosmos 3 è basato sull'architettura Mixture of Transformers. I moduli di ragionamento e del generatore utilizzano transformer diversi per prestazioni e generazione efficienti. Il modello prima ragiona e poi genera, risultando in un'accuratezza fisica leader in tutte le capacità. Scopri di più sull'architettura qui.
I WFM di Cosmos sono disponibili per tutti mediante una licenza NVIDIA Open Model.
Cosmos 3 è disponibile al pubblico con script di post-addestramento su GitHub per ogni modalità e modulo. Inoltre, NVIDIA TAO 7 fornisce una suite di competenze e strumenti per gli agenti per l'ottimizzazione dei modelli di visione artificiale, tra cui Cosmos 3, con agenti di codifica e prompt in linguaggio naturale.
Sì, puoi utilizzare Cosmos per creare da zero con il tuo modello di base o l'architettura di modello preferiti. Puoi iniziare con Cosmos Curator per la pre-elaborazione dei dati video. Quindi comprimi e decodifica i tuoi dati con il tokenizzatore Cosmos. Una volta elaborati i dati, puoi addestrare o perfezionare il modello.
Utilizzando i microservizi NVIDIA NIM™, puoi integrare facilmente i tuoi modelli di physical AI nelle applicazioni cloud, nei data center e nelle workstation.
Puoi anche utilizzare NVIDIA DGX Cloud per addestrare i modelli IA e distribuirli ovunque su larga scala.
Cosmos 3 è un omni-modello in grado di generare testi, immagini, video, suoni e azioni. Cosmos 2.5 e Cosmos 2 invece mantenevano la percezione e la generazione come modelli separati e le modalità si limitavano a testo, immagini e video.
Omniverse crea simulazioni 3D realistiche di attività del mondo reale utilizzando diverse API generative, SDK e la tecnologia di rendering NVIDIA RTX.
Gli sviluppatori possono immettere le simulazioni Omniverse come video di istruzioni nei modelli Cosmos Transfer per generare dati sintetici fotorealistici e controllabili.
Insieme, Omniverse fornisce ambienti di simulazione pre- e post-addestramento, mentre Cosmos fornisce modelli di base per generare dati video e addestrare i modelli di physical AI.
Scopri di più su NVIDIA Omniverse.