Robotiksimulation

Roboter und Roboterflotten mit physischer KI müssen erfassen, planen und autonom handeln, um komplexe reale Aufgaben auszuführen – wie das Bewegen in viel besuchten Einrichtungen und der sichere Umgang mit Objekten unter sich ändernden Bedingungen. 

Ein Sim-First-Ansatz hilft Teams dabei, diese Autonomie schneller zu erreichen. Mit der Robotersimulation können Entwickler das Verhalten von Robotern in physikalisch genauen digitalen Zwillingen – dazu können digitale Darstellungen von Lagern und Fabriken gehören – mithilfe von Roboterlernen und reproduzierbaren Testszenarien vor der Bereitstellung trainieren, testen und validieren. Der gleiche Ansatz lässt sich auf mehrere Roboterflotten übertragen, sodass diese industrielle Anlagen auf der Grundlage von Echtzeit-Produktionsdaten, Sensoreingaben und Schlussfolgerungen verstehen und mit ihnen interagieren können.

Die Simulation bietet eine sichere, konsistente virtuelle Umgebung, in der Basismodelle und Roboter-Policy-Modelle Aufgaben üben, aus Feedback lernen und ihr Verhalten verbessern können, bevor sie in der realen Welt eingesetzt werden. Realistische Trainingsumgebungen können in NVIDIA Isaac Sim – mithilfe von NVIDIA Omniverse NuRec-Bibliotheken – rekonstruiert und gerendert und mit der Generierung synthetischer Daten (SDG) ergänzt werden. Diese Daten können aus Text-, 2D- oder 3D-Bildern im visuellen und nicht-visuellen Spektrum und sogar aus Bewegungs-oder Kurvenverlaufsdaten bestehen, die in Verbindung mit realen Daten zum Trainieren multimodaler Modelle für physische KI verwendet werden können.

Die Domänenrandomisierung ist ein wichtiger Schritt im SDG-Workflow, bei dem viele Parameter in einer Szene geändert werden können, um eine große Vielfalt an Trainingsdaten zu generieren.  Diese können alles umfassen, vom Standort bis hin zur Farbe, Oberflächenstruktur und Beleuchtung der Objekte. Mit der NVIDIA Physical AI Data Factory können Entwickler Trainingsdaten in großem Maßstab mithilfe von NVIDIA Cosmos™ World-Foundation-Modellen weiter verbessern und bewerten. Cosmos Transfer fügt bestehenden Daten realistische Variationen hinzu, während Cosmos Evaluator und Cosmos Reason die Ergebnisse automatisch validieren, kuratieren und kommentieren, um sicherzustellen, dass nur hochwertige Daten für das Modelltraining verwendet werden.

Roboterlernen ist entscheidend, wenn es darum geht, sicherzustellen, dass autonome Maschinen robuste Fähigkeiten wiederholt und effizient in der physischen Welt ausführen können. High-Fidelity-Simulation bietet eine virtuelle Trainingsumgebung für Roboter, um ihre Fähigkeiten durch das Prinzip von Versuch und Irrtum oder durch Imitation zu verbessern. Dadurch wird sichergestellt, dass das in der Simulation erlernte Verhalten des Roboters leichter in die reale Welt übertragen werden kann.

NVIDIA Isaac™ Lab, ein auf NVIDIA Isaac Sim™ basierendes, einheitliches und modulares Open-Source-Framework für das Training von Robotern, vereinfacht gängige Arbeitsabläufe in der Robotik wie bestärkendes Lernen, Lernen aus Demonstrationen und Bewegungsplanung.

Entwickler können außerdem die Vorteile von Newton nutzen – einer Open-Source, GPU-beschleunigten Physik-Engine, die auf NVIDIA Warp für schnelle, physikalisch genaue, differenzierbare Simulation aufbaut.

Die GR00T-Mimic- und GR00T-Dreams-Blueprints von NVIDIA Isaac, die auf NVIDIA Cosmos basieren, produzieren große, vielfältige synthetische Bewegungsdaten für das Training.  Diese Datenbestände können dann verwendet werden, um die offenen Isaac-GR00T-N-Foundation-Modelle innerhalb des Isaac Lab zu trainieren und generalisiertes humanoides Schlussfolgern und das Erlernen zuverlässiger Fähigkeiten zu ermöglichen.

Software-in-the-Loop (SIL) ist eine kritische Test- und Validierungsstufe bei der Entwicklung von Software für physische KI-gestützte Robotiksysteme. Bei der SIL wird die Software, die den Roboter steuert, in einer simulierten Umgebung und nicht auf der physischen Hardware getestet. 

SIL mit Simulation gewährleistet eine genaue Modellierung der realen Physik, einschließlich Sensoreingaben, Aktuatordynamik und Umweltinteraktionen. Isaac Sim bietet Entwicklern die erforderlichen Funktionen, um zu testen, ob sich der Roboter-Software-Stack in der Simulation so verhält, wie er es beim physischen Roboter tun würde. So verbessert sich die Validität der Testergebnisse.

SIL kann auch von einem einzelnen Roboter auf Roboterflotten erweitert werden. Lagerhäuser und andere Industrieanlagen sind hochkomplexe logistische Umgebungen mit Herausforderungen wie Nachfrageschwankungen, Platzbeschränkungen und Verfügbarkeit von Arbeitskräften. Diese Umgebungen können von der Integration von Flotten von Robotersystemen zur Unterstützung des Betriebs profitieren.

Mega ist ein NVIDIA Omniverse™ Blueprint für die Entwicklung, das Testen und die Optimierung physischer KI und Roboterflotten in großem Umfang in einer digitalen Zwillingsumgebung vor der Bereitstellung in realen Einrichtungen. Mit von Mega gesteuerten digitalen Zwillingen, einschließlich Weltsimulatoren, die alle Roboteraktivitäten und Sensordaten koordinieren, können Unternehmen die Robotergehirne kontinuierlich für intelligente Routen und Aufgaben aktualisieren, um die betriebliche Effizienz zu steigern.

Synthetische Datengenerierung, Roboterlernen und Robotertests sind in hohem Maße voneinander abhängige Arbeitsabläufe und erfordern eine sorgfältige Orchestrierung über eine heterogene Infrastruktur hinweg. Robotergesteuerte Arbeitsabläufe erfordern außerdem entwicklerfreundliche Spezifikationen, die die Einrichtung der Infrastruktur vereinfachen, nahtlose Möglichkeiten zur Rückverfolgung von Daten und Modellherkunft schaffen und eine sichere und optimierte Methode zur Bereitstellung von Abläufen bieten.

NVIDIA OSMO ist eine Cloud-native Orchestrierungsplattform für die Skalierung komplexer, mehrstufiger und Multi-Container-Robotik-Workloads in lokalen, privaten und öffentlichen Clouds. Mit OSMO können Sie eine Reihe von Aufgaben orchestrieren, visualisieren und verwalten. Dazu gehört alles von der Generierung synthetischer Daten über das Trainieren von Modellen bis hin zur Durchführung von bestärkendem Lernen sowie der Implementierung von Software-in-the-Loop-Systemen für Humanoide, autonome mobile Roboter (AMRs) und industrielle Manipulatoren.