Physische KI

NVIDIA Cosmos

Entwickeln Sie World-Foundation-Modelle für physische KI.

Von GitHub herunterladen

Überblick

Was ist NVIDIA Cosmos?

NVIDIA Cosmos™ ist eine Plattform mit World-Foundation-Modellen(WFMs), Guardrails und Datenverarbeitungsbibliotheken zur beschleunigten Entwicklung von physischer KI für autonome Fahrzeuge (AVs), Roboter und KI-Agenten für die Videoanalyse.

Cosmos Cookbook

This cookbook serves as a practical guide to Cosmos open models. It offers step-by-step workflows, technical recipes, and concrete examples for building, adapting, and deploying WFMs.

Rezepte entdecken

So skalieren Sie die Datengenerierung für physische KI mit dem NVIDIA Cosmos Cookbook

In diesem Blogbeitrag werden wir Cosmos Transfer-Rezepte testen, um Videohintergründe zu ändern, Fahrdaten um neue Umweltbedingungen zu ergänzen, Daten für die Roboternavigation zu generieren und synthetische Daten für Szenarien im Stadtverkehr zu erzeugen.

Blogbeitrag lesen

Modelle

World-Foundation-Modelle für physische KI

Offene und vollständig anpassbare, vorab trainierte Modelle zur Generierung und zum Verständnis von Welten.

Cosmos Predict

Prognostizieren Sie zukünftige Zustände dynamischer Umgebungen für die Planung von Robotik und KI-Agenten.

 Dieses Weltgenerationsmodell erzeugt bis zu 30 Sekunden hochpräzises Video aus multimodalen Prompts.

Jetzt auf Github einsteigen

Cosmos Transfer

Beschleunigen Sie die Generierung synthetischer Daten in verschiedenen Umgebungen und unter unterschiedlichen Lichtverhältnissen

Dieses Multicontrol-Modell wandelt 3D- oder räumliche Eingaben aus physischen KI-Simulationsframeworks wie CARLA oder NVIDIA Isaac Sim™ in vollständig kontrollierte High-Fidelity-Videos um.

Jetzt auf Github einsteigen

Cosmos Reason

Ermöglichen Sie es Robotern und KI-Agenten, wie Menschen zu schlussfolgern. 

Dieses multimodale VLM-Modell (Vision Language Model) nutzt Vorwissen, physikalisches Verständnis und gesundes Urteilsvermögen, um die reale Welt zu erfassen und mit ihr zu interagieren.

Jetzt auf Github einsteigen

Datenverarbeitung

Beschleunigen Sie die effiziente Verarbeitung und Generierung von Datensätzen.

Mit Cosmos Curator können Sie schnell große Mengen an Sensordaten, die für die Entwicklung physischer KI erforderlich sind, filtern, kommentieren und deduplizieren. 

Sie können diese Datensätze auch sofort abfragen und Szenarien mit NVIDIA Cosmos Dataset Search (CDS) abrufen.

Cosmos Curator auf GitHub herunterladen
Cosmos Dataset Search herunterladen

Anwendungsbeispiele

Wie Cosmos KI in verschiedenen Branchen beschleunigt

Nutzen Sie Cosmos WFMs, um Daten für nachgelagerte Pipelines in den Bereichen Robotik, autonome Fahrzeuge und industrielle Vision-Systeme zu simulieren, zu analysieren und zu generieren.

Roboterlernen

Roboter benötigen umfangreiche, vielfältige Trainingsdaten, um ihre Umgebungen effektiv wahrnehmen und mit ihnen interagieren zu können. Cosmos-WFMs lösen dieses Problem auf verschiedene Arten:

  • Generieren synthetischer Daten mit Cosmos Transfer.
  • Nachtrainieren von Cosmos Predict für Ihre Roboterrichtlinie.
  • Analysieren und filtern synthetischer Daten mithilfe von Cosmos Reason.
Beispiele anzeigen

Training für autonome Fahrzeuge

Vielfältige, hochpräzise Sensordaten sind für das sichere Trainieren, Testen und Validieren autonomer Fahrzeuge unerlässlich. Die Skalierung ist jedoch schwierig, zeitaufwendig und kostspielig.

Mit nachträglich mit Fahrzeugdaten trainierten Cosmos WFMs können Sie:

  • die vorhandene Datenvielfalt mit neuen Wetter-, Beleuchtungs- und Geolokalisierungsdaten mithilfe von Cosmos Transfer erweitern.
  • Multisensor-Ansichten mithilfe von Cosmos Predict erweitern.
Beispiele anzeigen

KI-Agenten für Videoanalysen

Verbessern Sie Automatisierung, Sicherheit und betriebliche Effizienz in industriellen und städtischen Umgebungen. 

Mit Cosmos Reason können KI-Agenten Echtzeit- oder aufgezeichnete Videostreams analysieren, zusammenfassen und mit ihnen interagieren, um:

  • Fragen in Echtzeit zu beantworten und Warnungen auszugeben.
  • umfassende kontextbezogene Einblicke zu liefern.
Mehr erfahren

Einstiegsoptionen

Einstieg in NVIDIA Cosmos

1

Bereit zum Entwickeln? Greifen Sie direkt auf Modelle und Code zu.

GitHub anzeigen

2

Noch nicht bereit zum Entwickeln? Testen Sie die Cosmos-Modelle in unserem gehosteten Katalog.

Jetzt ausprobieren

3

Benötigen Sie Hilfe? Starten Sie umgehend mit unseren praktischen Modellrezepten.

Kochbuch durchsuchen

Vertrauenswürdige KI

Unterstützung der Community für physische KI

Cosmos-Modelle, Sicherheitsmechanismen und Tokenizer sind bei Hugging Face und GitHub verfügbar und bieten Ressourcen zur Bewältigung der Datenknappheit beim Trainieren physischer KI-Modelle.

KI-Infrastruktur

Mit NVIDIA Blackwell maximale Leistung erzielen

Die Server der NVIDIA RTX PRO 6000 Blackwell-Serie beschleunigen die Entwicklung physischer KI für Roboter, autonome Fahrzeuge und KI-Agenten – ob beim Trainieren, Generieren synthetischer Daten, Simulieren oder Inferenzieren.

Nutzen Sie Spitzenleistung für Cosmos-World-Foundation-Modelle auf NVIDIA Blackwell GB200 für industrielles Nachtrainieren und Inferenz-Workloads.

Mehr erfahren

Technologieumfeld

Genutzt von führenden Innovatoren auf dem Gebiet der physischen KI

Modellentwickler aus den Bereichen Robotik, autonome Fahrzeuge und Vision-KI nutzen Cosmos, um die Entwicklung physischer KI zu beschleunigen.

Nächste Schritte

Werden Sie Mitglied der Cosmos-Community

Nehmen Sie Kontakt mit Cosmos-Experten und anderen Entwicklern auf, geben Sie Modellfeedback und nutzen Sie kontinuierliches Lernen über Livestreams und Rezepte.

Jetzt beitreten

Cosmos-Kochbuch

Ein umfassender Leitfaden für die Arbeit mit dem NVIDIA Cosmos-Ökosystem für reale, fachspezifische Anwendungen in den Bereichen Robotik, Simulation, autonome Systeme und Verständnis physischer Szenarien.

Mehr erfahren

Entwicklung von KI-Agenten für Videoanalysen

Verwenden Sie Cosmos Reason mit NVIDIA Blueprint für Videosuche und -zusammenfassung (VSS), um KI-Agenten für skalierbares Echtzeit-Videoverstehen zu entwickeln.

Jetzt ausprobieren

Ressourcen

Das Neueste von Cosmos-Entwicklern

Alle Tech-Blogs Alle Neuigkeiten zum Thema anzeigen
Alle anzeigen
Alle anzeigen

Sicheres autonomes Fahren mit NVIDIA Halos

Skalierung von AV-Daten mit Omniverse und Cosmos

Wie Simulation sicherere autonome Fahrzeuge ermöglicht | Foretellix

Beschleunigte Entwicklung von autonomen Fahrzeugen mit NVIDIA Omniverse und Cosmos

Wie Roboter lernen, Roboter zu sein: Training, Simulation und Bereitstellung in der realen Welt

Wie Robotergehirne ungeahnte Welten erträumen und erkunden

Smart-City-KI-Agenten in digitalen Zwillingen entwickeln und testen

NVIDIA Cosmos: Eine World-Foundation-Modell-Plattform für physische KI

Generieren synthetischer Daten für physische KI mit NVIDIA Cosmos

Simulation autonomer Fahrzeuge mit NVIDIA Omniverse und Cosmos

Einsatz von NVIDIA Cosmos World-Foundation-Modellen für die Entwicklung physischer KI

Häufig gestellte Fragen

Beginnen Sie mit der Dokumentation. Cosmos WFMs sind bei Hugging Face, Skripte für Inferenz und Nachtrainieren bei GitHub frei verfügbar.

Das neue Cosmos-Kochbuch enthält Schritt-für-Schritt-Rezepte und Skripte für das Nachtrainieren, damit Sie Cosmos World-Foundation-Modelle von NVIDIA für Robotik und autonome Systeme schnell entwickeln, anpassen und bereitstellen können.

PyTorch-Skripte sind für alle Cosmos-Modelle für das Nachtrainieren frei verfügbar. Das neue Cosmos-Kochbuch enthält Schritt-für-Schritt-Rezepte und Skripte für das Nachtrainieren, damit Sie Cosmos World-Foundation-Modelle von NVIDIA für Robotik und autonome Systeme schnell entwickeln, anpassen und bereitstellen können.

Ja, Sie können Cosmos verwenden, um mit Ihrem bevorzugten Foundation-Modell oder Ihrer Modellarchitektur Modelle von Grund auf neu zu erstellen. Sie können zunächst Cosmos Curator für die Vorverarbeitung von Videodaten verwenden. Anschließend komprimieren und dekodieren Sie Ihre Daten mit dem Cosmos-Tokenizer. Sobald Sie die Daten verarbeitet haben, können Sie Ihr Modell trainieren oder feinabstimmen.

Mit NVIDIA NIM™ Microservices können Sie Ihre physischen KI-Modelle einfach in Ihre Anwendungen integrieren, die sich über Cloud, Rechenzentren und Workstations erstrecken.

Sie können auch NVIDIA DGX Cloud nutzen, um KI-Modelle zu trainieren und in großem Umfang überall bereitzustellen.

Alle drei sind WFMs mit unterschiedlichen Aufgaben:

  • Cosmos Predict generiert verschiedene Videoszenen aus Text-, Bild- oder Video-Prompts – ideal für das Nachtrainieren von Objekten wie Robotern oder selbstfahrenden Autos.
  • Cosmos Transfer wendet eine Multi-Control-Stilübertragung – Änderung von Licht und Umgebungen – auf physikbasierte Videos an, die häufig in Simulatoren wie NVIDIA Omniverse™ erstellt werden.
  • Cosmos Reason beantwortet Abfragen durch Schlussfolgerungen über Video- und Bildeingaben. Cosmos Reason kann neue und vielfältige Text-Prompts aus einem Startvideo für Cosmos Predict generieren oder synthetische Daten aus Predict und Transfer bewerten und kommentieren.

Cosmos Reason kann neue und vielfältige Text-Prompts aus einem Startvideo für Cosmos Predict generieren oder synthetische Daten aus Predict und Transfer bewerten und kommentieren.

Omniverse erstellt mit verschiedenen generativen APIs, SDKs und NVIDIA RTX-Rendering-Technik realistische 3D-Simulationen von Aufgaben in der realen Welt.

Entwickler können Omniverse-Simulationen als Instruktionsvideos in Cosmos Transfer-Modelle eingeben, um steuerbare fotorealistische synthetische Daten zu generieren.

Omniverse stellt die Simulationsumgebung vor und nach dem Training bereit, während Cosmos die Foundation-Modelle für die Generierung von Videodaten und das Trainieren physischer KI-Modelle zur Verfügung stellt.

Erfahren Sie mehr über NVIDIA Omniverse.