Physische KI
NVIDIA Cosmos
Eine offene Plattform für physische KI mit World-Foundation-Modellen (WFMs), Videodatenverarbeitungsbibliotheken, Videobewertung und Frameworks für das Nachtrainieren.
World-Foundation-Modelle
Offene Modelle für die Generierung und das Verständnis der Welt
Cosmos Predict
Führendes Weltgenerierungsmodell, anpassbar an jede physische KI-Aufgabe oder Umgebung.
Generieren Sie mit 2B/14B-Modellen 30-sekündige prädiktive Videowelten aus Text, Bildern oder Videos. Führen Sie ein Nachtraining mit Ihren Daten durch, um benutzerdefinierte Sonderfälle, geschlossene Regelkreise und roboterzentrierte Mehransicht-Simulationen zu erstellen.
Cosmos Transfer
Multicontrol-Modell für die Transformation von der Simulation zum Fotorealismus.
Kombinieren Sie mit physischen KI-Simulationsframeworks wie CARLA oder NVIDIA Isaac Sim™, um die Generierung synthetischer Daten in verschiedenen Umgebungen und Lichtverhältnissen zu beschleunigen.
Cosmos Reason
Führendes Vision Language Model (VLM), das es Robotern und Vision-AI-Agenten ermöglicht, wie Menschen zu denken.
Kombiniert Vorwissen, Physik und Common Sense für Echtzeit-Warnungen und umsetzbare Erkenntnisse in den Bereichen öffentliche Sicherheit, Verkehrsüberwachung, Logistik, Qualitätsprüfung und physische KI.
Datenverarbeitung und -bewertung
Beschleunigen Sie die effiziente Verarbeitung und Bewertung von Datensätzen.
Anwendungsbeispiele
Wie Cosmos KI in verschiedenen Branchen beschleunigt
-
Roboterlernen
-
Training für autonome Fahrzeuge
-
Videoanalyse-KI-Agenten
Roboterlernen
Erstellen Sie benutzerdefinierte Weltmodelle für nachgelagerte Aufgaben, Umgebungen, Kamera- oder Sensoranordnungen und Richtlinien.
- Nachtrainieren von Cosmos Predict für roboterspezifische Ansichten oder Steuerungsrichtlinien
- Generierung synthetischer Daten über Umgebungen und Lichtverhältnisse hinweg mit Cosmos Transfer
- Cosmos Reason mit dem Cosmos RL-Framework nachtrainieren, um Vision-Language-Action-Modelle (VLA) zu erstellen
- Erstellung einer End-to-End-Pipeline für die Augmentation und Bewertung synthetischer Daten mit dem Physical AI Data Factory Blueprint auf Basis von Cosmos
Training für autonome Fahrzeuge
Generieren Sie benutzerdefinierte, vielfältige und hochpräzise Sensordaten für das sichere Trainieren, Testen und Validieren autonomer Fahrzeuge.
- Erweiterung der vorhandenen Datenvielfalt mit neuen Wetter-, Beleuchtungs- und Geolokalisierungsdaten mithilfe von Cosmos Transfer
- Erweiterung von Multisensor-Ansichten mithilfe von Cosmos Predict
- Erstellung einer End-to-End-Pipeline für die Augmentation und Bewertung synthetischer Daten mit dem Physical AI Data Factory Blueprint auf Basis von Cosmos
Videoanalyse-KI-Agenten
Verbessern Sie Automatisierung, Sicherheit und betriebliche Effizienz in industriellen und städtischen Umgebungen.
Mit Cosmos Reason können KI-Agenten Echtzeit- oder aufgezeichnete Videostreams analysieren, zusammenfassen und mit ihnen interagieren, um:
- Fragen in Echtzeit zu beantworten und Warnungen auszugeben
- Umfassende kontextbezogene Einblicke zu liefern
- Extrahieren Sie Erkenntnisse aus umfangreichen Videodaten mit NVIDIA Blueprint für die Videosuche und Zusammenfassung
Einstiegsoptionen
Einstieg in NVIDIA Cosmos
KI-Infrastruktur
Mit NVIDIA Blackwell maximale Leistung erzielen
Die Server der NVIDIA RTX PRO 6000 Blackwell-Serie beschleunigen die Entwicklung physischer KI für Roboter, autonome Fahrzeuge und KI-Agenten – ob beim Trainieren, Generieren synthetischer Daten, Simulieren oder Inferenzieren.
Nutzen Sie Spitzenleistung für Cosmos-World-Foundation-Modelle auf NVIDIA Blackwell GB200 für industrielles Nachtrainieren und Inferenz-Workloads.
Ökosystem
Genutzt von führenden Innovatoren auf dem Gebiet der physischen KI
Modellentwickler aus den Bereichen Robotik, autonome Fahrzeuge und Vision-KI nutzen Cosmos, um die Entwicklung physischer KI zu beschleunigen.
Nächste Schritte
Ressourcen
Das Neueste von Cosmos-Entwicklern
Häufig gestellte Fragen
[22. Januar 2026] Forschungsergebnisse zur Cosmos Policy veröffentlicht, die auf Cosmos Predict-2 für die visuelle Steuerung und Planung basieren.
[9. Februar 2026] Verbesserte Rechenunterstützung, Quantisierung und CUDA-Kompatibilität für das neue Cosmos Reason 2.
[19. Dezember 2025] Veröffentlichung der Cosmos-Predict2.5-2B-Diffusers-Unterstützung über Hugging Face, des destillierten Cosmos-Predict2.5-2B Text2World-Checkpoints auf Hugging Face und des Destillationsleitfadens.
[19. Dezember 2025] Image2Image- und ImagePrompt-Funktionen für Cosmos Transfer 2.5 wurden veröffentlicht. Sehen Sie hier den Inferenz-Leitfaden.
Entdecken Sie mehr auf GitHub.
Cosmos WFMs sind unter einer NVIDIA Open-Model-Lizenz für alle verfügbar.
Das neue Cosmos Cookbook enthält Schritt-für-Schritt-Anleitungen und Skripte für das Nachtrainieren, damit Sie Cosmos World-Foundation-Modelle von NVIDIA für Robotik und autonome Systeme schnell entwickeln, anpassen und bereitstellen können.
Ja, Sie können Cosmos verwenden, um mit Ihrem bevorzugten Foundation-Modell oder Ihrer Modellarchitektur Modelle von Grund auf neu zu erstellen. Sie können zunächst Cosmos Curator für die Vorverarbeitung von Videodaten verwenden. Anschließend komprimieren und dekodieren Sie Ihre Daten mit Cosmos Tokenizer. Sobald Sie die Daten verarbeitet haben, können Sie Ihr Modell trainieren oder feinabstimmen.
Mit NVIDIA NIM™ Microservices können Sie Ihre physischen KI-Modelle einfach in Ihre Anwendungen integrieren, die sich über Cloud, Rechenzentren und Workstations erstrecken.
Sie können auch NVIDIA DGX Cloud nutzen, um KI-Modelle zu trainieren und in großem Umfang überall bereitzustellen.
Alle drei sind WFMs mit unterschiedlichen Aufgaben:
- Cosmos Predict generiert verschiedene Videoszenen aus Text-, Bild- oder Video-Prompts – ideal für das Nachtrainieren von Objekten wie Robotern oder selbstfahrenden Autos.
- Cosmos Transfer wendet eine Multi-Control-Stilübertragung – Änderung von Licht und Umgebungen – auf physikbasierte Videos an, die häufig in Simulatoren wie NVIDIA Omniverse™ erstellt werden.
- Cosmos Reason beantwortet Abfragen durch Schlussfolgerungen über Video- und Bildeingaben. Cosmos Reason kann neue und vielfältige Text-Prompts aus einem Startvideo für Cosmos Predict generieren oder synthetische Daten aus Predict und Transfer bewerten und kommentieren.
Omniverse erstellt mit verschiedenen generativen APIs, SDKs und NVIDIA RTX-Rendering-Technik realistische 3D-Simulationen von Aufgaben in der realen Welt.
Entwickler können Omniverse-Simulationen als Instruktionsvideos in Cosmos Transfer-Modelle eingeben, um steuerbare fotorealistische synthetische Daten zu generieren.
Omniverse stellt die Simulationsumgebung vor und nach dem Training bereit, während Cosmos die Foundation-Modelle für die Generierung von Videodaten und das Trainieren physischer KI-Modelle zur Verfügung stellt.
Erfahren Sie mehr über NVIDIA Omniverse.