Generierung synthetischer Daten für physische KI

Physische KI-Modelle ermöglichen es autonomen Systemen, die physische Welt wahrzunehmen, zu verstehen, mit ihr zu interagieren und sich in ihr zu bewegen. Synthetische Daten sind entscheidend für das Training und das Testen physischer KI-Modelle.

Weltmodelle nutzen verschiedene Eingabedaten, darunter Text, Bilder, Videos und Bewegungsinformationen, um virtuelle Welten mit bemerkenswerter Genauigkeit zu generieren und zu simulieren.   

Weltmodelle zeichnen sich durch außergewöhnliche Generalisierungsfähigkeiten aus, die nur minimale Feinabstimmung für verschiedene Anwendungen erfordern. Sie dienen als kognitive Antriebskräfte für Roboter und autonome Fahrzeuge und nutzen dabei ihr umfassendes Verständnis der Dynamik der realen Welt. Um diesen Grad der Komplexität zu erreichen, sind Weltmodelle auf umfangreiche Mengen an Trainingsdaten angewiesen. 

Die Entwicklung von Weltmodellen profitiert erheblich von der Generierung unendlicher synthetischer Daten durch physisch genaue Simulationen. Dieser Ansatz beschleunigt nicht nur den Modelltrainingsprozess, sondern verbessert auch die Generalisierungsfähigkeit eines Modells in verschiedenen Szenarien. Techniken zur Domänenrandomisierung verbessern diesen Prozess weiter, indem sie die Manipulation zahlreicher Parameter wie Beleuchtung, Hintergrund, Farbe, Standort und Umgebung ermöglichen – Variationen, deren umfassende Erfassung allein anhand realer Daten nahezu unmöglich wäre.

Das Roboterlernen umfasst eine Reihe von Algorithmen und Methoden, die es einem Roboter ermöglichen, neue Fähigkeiten wie Manipulation, Fortbewegung und Klassifizierung in simulierten oder realen Umgebungen zu erwerben. Bestärkendes Lernen, Imitationslernen und Diffusionspolitik sind die wichtigsten Methoden, die zum Trainieren von Robotern angewendet werden.

Eine wichtige Fähigkeit für Roboter ist die Manipulation – das Aufnehmen, Sortieren und Zusammenbauen von Gegenständen – ähnlich wie man es in Fabriken beobachten kann. In der Regel werden reale menschliche Demonstrationen als Input für das Training verwendet. Das Erfassen eines großen und vielfältigen Datensatzes ist jedoch mit erheblichen Kosten verbunden.

Um diese Herausforderung zu bewältigen, können Entwickler die NVIDIA Isaac Blueprints GR00T-Mimic und GR00T-Dreams nutzen, die auf NVIDIA Cosmos™ basieren, um umfangreiche, vielfältige synthetische Bewegungsdatensätze für das Training zu generieren.

Der NVIDIA Isaac GR00T-Dreams-Blueprint generiert mithilfe von Cosmos riesige Mengen synthetischer Trajektoriendaten, die durch ein einzelnes Bild und Sprachbefehle ausgelöst werden. Dadurch können Roboter neue Aufgaben in ungewohnten Umgebungen erlernen, ohne dass spezifische Teleoperationsdaten erforderlich sind.

Der NVIDIA Isaac GR00T-Mimic-Blueprint generiert riesige Mengen an synthetischen Trajektoriendaten aus nur einer Handvoll menschlicher Demonstrationen. Dadurch können Roboter ihre Manipulationsfähigkeiten für bekannte Aufgaben und Umgebungen verbessern.

Diese Datensätze können dann zum Trainieren der offenen Isaac GR00T-Foundation-Modelle in Isaac Lab verwendet werden, was ein generalisiertes humanoides Schlussfolgern und den Erwerb robuster Fähigkeiten ermöglicht.

Software-in-Loop-Tests (SIL) sind eine entscheidende Phase für KI-gestützte Roboter und autonome Fahrzeuge, bei denen die Steuerungssoftware in einer simulierten Umgebung statt auf realer Hardware evaluiert wird.

Synthetische Daten, die aus der Simulation generiert werden, gewährleisten eine genaue Modellierung der realen Physik, einschließlich Sensoreingaben, Aktuator-Dynamik und Umweltinteraktionen. Dies bietet auch eine Möglichkeit, seltene Szenarien zu erfassen, deren Erfassung in der realen Welt gefährlich wäre. Dadurch wird sichergestellt, dass sich der Roboter-Softwarestack in der Simulation genauso verhält wie auf dem physischen Roboter, was eine gründliche Prüfung und Validierung ohne physische Hardware ermöglicht.  

Synthetische Daten aus diesen Simulationen werden in das Robotergehirn zurückgeführt. Die Robotergehirne nehmen die Ergebnisse wahr und entscheiden über die nächste Aktion. Dieser Zyklus setzt sich fort, wobei Mega den Zustand und die Position aller Assets im digitalen Zwilling präzise verfolgt.