Physische KI
NVIDIA Omniverse
Entwickeln Sie simulationsfähige Welten für physische KI mit agentenfähigen Tools für Rendering, Physik, Sensoren und Validierung.
Überblick
Was ist NVIDIA Omniverse?
NVIDIA Omniverse™-Bibliotheken, Teil des NVIDIA Agent Toolkit, bieten vorgefertigte Funktionen zum Erstellen simulationsbereiter Welten, die Teams für physische KI nutzen können, um Systeme zu trainieren, zu testen und zu validieren, bevor sie in der realen Welt bereitgestellt werden. Entwickler können Bibliotheken, APIs und Dienste für OpenUSD-Dateninteroperabilität, Rendering, Physik, Sensorsimulation, Validierung und Laufzeit-Workflows in bestehende Anwendungen integrieren, wo KI-Agenten sie als Tools nutzen können, um diese Welten schneller zu entwickeln.
Technologie
Kernbibliotheken und Dienste von Omniverse
Nutzen Sie Omniverse-Bibliotheken und -Dienste, um Funktionen für physische KI-Simulation in Anwendungen, Tools und agentenfähige Workflows zu integrieren.
OpenUSD-Daten und Interoperabilität
Verbinden, Organisieren und Austauschen von 3D-Szenendaten über Anwendungen und Simulationspipelines hinweg.
- Am besten, wenn: Sie eine dauerhafte Szenenstruktur, Asset-Übergabe oder Anwendungsinteroperabilität benötigen.
- Agenten-fähige Rolle: Agenten können Szenendaten prüfen, organisieren, konvertieren und weiterleiten.
RTX-Rendering und Simulation
Zeigen Sie eine Vorschau von Szenen an, generieren Sie Sensorausgaben und produzieren Sie visuelle Beweise aus simulationsfähigen Welten.
- Nutzen Sie es, wenn: Sie visuelles Preflight, synthetische Sensorausgabe oder eine simulationsreife Szenenüberprüfung benötigen.
- Agenten-fähige Rolle: Agenten können Renderings auslösen, Sensoren simulieren und visuelle Beweise zurückgeben.
Physiksimulation
Simulieren Sie Bewegung, Kontakte und physikalisch fundiertes Verhalten für Robotik- und Digitaler-Zwilling-Workflows.
- Nutzen Sie es, wenn: Sie Kollisionen, Bewegung, Dynamik oder physikalische Bereitschaft testen müssen.
- Agenten-fähige Rolle: Agenten können Physik-Readiness-Prüfungen ausführen und Probleme zur Überprüfung weiterleiten.
Simulationsfähige Asset-Validierung
Testen Sie OpenUSD-Assets gegen die Anforderungen an die Simulationsreife, bevor Sie das nachgelagerte Training, das Testen oder die Bereitstellung durchführen.
- Nutzen Sie es, wenn: Sie Akzeptanz-Gates benötigen, bevor Sie Assets in Workflows für physische KI-Simulation verschieben.
- Agenten-fähige Rolle: Agenten können Validierungsprüfungen ausführen und Ergebnisse für „Bestanden/Nicht bestanden“ zurückgeben.
Einstiegsoptionen
Entscheiden Sie, wie Sie mit Omniverse entwickeln möchten.
Beginnen Sie mit Bibliotheken, agentenreifen Tools, Blueprints oder Beispiel-Workflows, basierend auf dem, was Sie entwickeln möchten.
Anwendungsf
Wie Teams Omniverse für physische KI nutzen
-
Digitale Zwillinge für Industrieanlagen
-
Simulation von
Robotern -
Roboterlernen -
Generierung synthetischer Daten
-
Simulation autonomer Fahrzeuge
Digitale Zwillinge für Industrieanlagen
Bereiten Sie industrielle Umgebungen vor, um vor der realen Bereitstellung physische KI-Workflows zu testen, zu optimieren und zu validieren.
- Verbinden Sie OpenUSD-Szenendaten in Design-, Engineering- und Simulations-Workflows.
- Fügen Sie RTX-Rendering, Physik, Sensoren und Validierung hinzu, um Einrichtungen simulationsbereit zu machen.
- Inspizieren Sie Umgebungen, zeigen Sie Probleme auf und geben Sie Beweise für die Überprüfung mit agentenfähigen Tools zurück.
Delta Electronics
Simulation von Robotern
Testen Sie das Verhalten, die Wahrnehmung, die Bewegung und die Sensorinteraktion des Roboters vor der Bereitstellung in simulationsfähigen Umgebungen.
- Bereiten Sie OpenUSD-Szenen mit Materialien, Physikeigenschaften, Collidern, Sensoren und semantischen Daten vor.
- Führen Sie Visual-, Sensor- und Physik-Preflight aus, um die Szenenbereitschaft zu überprüfen.
- Inspizieren Sie Szenen, rufen Sie Simulationsfunktionen auf und leiten Sie Probleme zur Überprüfung mit agentenfähigen Tools weiter.
Roboterlernen
Erstellen Sie physisch verankerte Simulationsumgebungen für das Roboterlernen, das Testen und die Policy-Iteration.
- Richten Sie einsatzbereite Welten mit Sensoren, Physik, Szenenvariation und Validierung ein.
- Generieren Sie Szenarien für Roboterlernen, Tests und Strategiebewertungs-Workflows.
- Überprüfen Sie die Szenenbereitschaft und geben Sie Belege aus Simulationsschritten zurück.
Agility, Apptronik, Fourier Intelligence, Unitree
Generierung synthetischer Daten
Generieren Sie physikalisch verankerte synthetische Daten aus simulationsfähigen Welten, um physische KI-Modelle zu trainieren und zu testen.
- Konfigurieren Sie Szenenvariation, Sensor-Layouts, Beleuchtung, Materialien und Rendering-Ausgaben.
- Produzieren Sie synthetische Daten mit physikalisch basiertem Rendering und Sensorsimulation.
- Lösen Sie Aufgaben zur Datengenerierung aus, inspizieren Sie die Ausgaben und markieren Sie Probleme zur Überprüfung.
Simulation autonomer Fahrzeuge
Bereiten Sie simulationsfähige Umgebungen für das Testen von Wahrnehmungssystemen, Sensoren und Szenarien für autonome Fahrzeuge vor.
- Strukturieren Sie Straßen-, Anlagen- und Szenariodaten mit sensorfähigen OpenUSD-Assets.
- Simulieren Sie Kameras, Lidar, Radar und Visual Preflight für Wahrnehmungs-Workflows.
- Überprüfen Sie die Sensoreinrichtung und melden Sie Probleme mit der Bereitschaft, bevor Sie nachgelagerte Tests durchführen.
Erfolgsgeschichten
Workflows für physische KI in der Praxis
Ökosystem
Omniverse im gesamten Ökosystem der physischen KI
Erfahren Sie, wie Partner und Entwickler Omniverse-Funktionen in Anwendungen und Workflows für physische KI, digitale Zwillinge, Robotik und Simulation integrieren.
Ressourcen
Neuheiten von Omniverse
Häufig gestellte Fragen
NVIDIA Omniverse bietet Bibliotheken, APIs, Dienste und agentenfähige Tools für die Entwicklung physischer KI-Anwendungen und simulationsfähiger 3D-Workflows. Entwickler nutzen Omniverse, um OpenUSD-Dateninteroperabilität, RTX-Rendering, Physik, Sensorsimulation, Validierung und Laufzeitfunktionen in bestehende Anwendungen und Workflows zu integrieren.
Entwickler können Anwendungen für physische KI-Simulation, industrielle digitale Zwillinge, Robotiksimulations-Workflows, synthetische Datenpipelines und Tools für die Vorbereitung von 3D-Welten für die Simulation entwickeln. Omniverse hilft Teams dabei, 3D-Daten zu verbinden, Sensoren und Physik zu simulieren, Assets zu validieren und von visuellen 3D-Inhalten zu simulationsfähigen Umgebungen zu wechseln.
KI-Agenten können Omniverse-Funktionen als Tools in überprüfbaren Workflows nutzen. Ein Agent kann eine 3D-Szene oder den Anwendungsstatus inspizieren, Omniverse-Tools für OpenUSD-Operationen, Rendering, Physik, Sensorsimulation oder Validierung aufrufen und Beweise zurückgeben, die ein Entwickler oder technischer Künstler überprüfen kann, bevor der Workflow voranschreitet.
Ja. Omniverse-Bibliotheken und -Dienste helfen Entwicklern und Softwareherstellern dabei, Simulationsfunktionen in bestehende Tools, Dienste und Workflows einzubinden. Dadurch können Teams Omniverse für Rendering, Physik, Sensorsimulation, OpenUSD-Interoperabilität und Validierung nutzen, ohne ihre differenzierten Anwendungen oder Benutzererlebnisse zu ersetzen.
Beginnen Sie mit Omniverse-Bibliotheken, wenn Sie Rendering, Physik, Sensorsimulation, OpenUSD-Operationen oder Validierung in eine Anwendung oder einen Dienst integrieren möchten. Nutzen Sie Agenten-Fähigkeiten, wenn Sie möchten, dass KI-Agenten Omniverse-Tools für definierte Aufgaben aufrufen. Beginnen Sie mit Blueprints, wenn Sie Referenz-Workflows benötigen, die zeigen, wie NVIDIA-Technologien für die Entwicklung physischer KI zusammenpassen.
Entwickler können die Omniverse-Dokumentation, GitHub-Repositorys, Beispielinhalte und ausgewählte NVIDIA NGC-Ressourcen für Entwicklung, Forschung, Test und Evaluierung nutzen, sofern verfügbar. Einige Omniverse-Bibliotheken auf GitHub sind Vorabversionen und werden nicht im Rahmen des Enterprise-Supports unterstützt. Für die Produktions- oder Unternehmenseinsätze ist Support über den NVIDIA Enterprise Support verfügbar, wenn ein Kunde eine entsprechende NVIDIA Support-Berechtigung hat. Prüfen Sie die Dokumentation jeder Ressource hinsichtlich Lizenz, Support-Stufe und beabsichtigter Verwendung.
NVIDIA Omniverse hilft Entwicklern, 3D-Welten, Anwendungen und Workflows für physische KI zu entwickeln und zu simulieren. NVIDIA Cosmos™ bietet World-Foundation-Modelle und offene Datenverarbeitungs-, Trainings- und Bewertungsframeworks für die Entwicklung physischer KI-Modelle. Teams können sie gemeinsam nutzen, wenn simulationsfähige Umgebungen von Omniverse Datengenerierung, Tests oder Evaluierungs-Workflows für Cosmos-gestützte physische KI-Systeme unterstützen.
NVIDIA Omniverse Launcher (eingestellt)
Legacy-Omniverse-Tools, einschließlich Omniverse Launcher, sind über die Legacy-Tools und Dokumentationspfade von NVIDIA verfügbar, wo sie unterstützt werden. Entwickler, die neue Projekte starten, sollten die aktuellen Omniverse-Entwicklerressourcen, die Dokumentation, GitHub-Repositorys und unterstützte Tools nutzen.
Weitere Informationen finden Sie in den Legacy-Tools von Omniverse und in den NVIDIA-Entwicklerforen.
NVIDIA Cosmos ist eine Entwicklungsplattform für das World Foundation Model (WFM). Das Herzstück sind Cosmos WFMs, die Umgebungszustände in Form von Videos unter Verwendung von multimodalen Eingaben generieren.
Entwickler können Omniverse-Simulationen als Anleitungsvideos in das Cosmos Transfer WFM eingeben, um kontrollierbare, fotorealistische synthetische Daten zu generieren.
Omniverse stellt die Simulationsumgebung vor und nach dem Training bereit, während Cosmos fotorealistische, kontrollierbare synthetische Daten zum Trainieren physischer KI-Modelle liefert.
Nächste Schritte
Werden Sie Mitglied der Omniverse-Community
Tauschen Sie sich mit Omniverse-Entwicklern aus, teilen Sie Feedback, entdecken Sie Beispiele und Lernressourcen und bleiben Sie auf dem Laufenden über OpenUSD, Simulation und physische KI-Workflows.
Entwickeln Sie mit Omniverse
Entdecken Sie beschleunigte Bibliotheken, Microservices und Fähigkeiten für physische KI-Simulation und agentische Workflows.
Omniverse GitHub
Entdecken Sie Omniverse-Repositorys, Beispiele und Open-Source-Ressourcen für die Entwicklung mit OpenUSD, Rendering, Physik, Sensoren und Validierung.