Generierung synthetischer Daten für physische KI

Physische KI-Modelle ermöglichen es autonomen Systemen, die physische Welt wahrzunehmen, zu verstehen, mit ihr zu interagieren und sich in ihr zu bewegen. Synthetische Daten sind entscheidend für das Training und das Testen physischer KI-Modelle.

Weltmodelle nutzen verschiedene Eingabedaten, darunter Text, Bilder, Videos und Bewegungsinformationen, um virtuelle Welten mit bemerkenswerter Genauigkeit zu generieren und zu simulieren.   

Weltmodelle zeichnen sich durch außergewöhnliche Generalisierungsfähigkeiten aus, die nur minimale Feinabstimmung für verschiedene Anwendungen erfordern. Sie dienen als kognitive Antriebskräfte für Roboter und autonome Fahrzeuge und nutzen dabei ihr umfassendes Verständnis der Dynamik der realen Welt. Um diesen Grad der Komplexität zu erreichen, sind Weltmodelle auf umfangreiche Mengen an Trainingsdaten angewiesen. 

Die Entwicklung von Weltmodellen profitiert erheblich von Agenten-Fähigkeiten, die dazu beitragen, fragmentierte Workflows zur Generierung synthetischer Daten zu automatisieren. Agenten können auf Simulationstools, offene Modelle und Bibliotheken zugreifen, um physisch präzise synthetische Daten zu generieren, Randfälle zu erstellen und die Domänenrandomisierung auf die Bereiche Beleuchtung, Hintergründe, Farben, Orte und Umgebungen anzuwenden. Dies hilft Teams dabei, vielfältige Trainingsdaten schneller zu erstellen, die Modellgeneralisierung zu verbessern, das Modelltraining zu beschleunigen und die Entwicklung über den Umfang hinaus zu skalieren, der mit realen Daten allein praktikabel ist.

Das Roboterlernen umfasst eine Reihe von Algorithmen und Methoden, die es einem Roboter ermöglichen, neue Fähigkeiten wie Manipulation, Fortbewegung und Klassifizierung in simulierten oder realen Umgebungen zu erwerben. Bestärkendes Lernen, Imitationslernen und Diffusionsrichtlinien sind die wichtigsten Methoden, die zum Trainieren von Robotern angewendet werden.

Eine wichtige Fähigkeit für Roboter ist die Manipulation – das Aufnehmen, Sortieren und Zusammenbauen von Gegenständen –, ähnlich wie man es in Fabriken beobachten kann. In der Regel werden reale menschliche Demonstrationen als Input für das Training verwendet. Das Erfassen eines großen und vielfältigen Datensatzes ist jedoch mit erheblichen Kosten verbunden.

Um diese Herausforderung zu bewältigen, können Entwickler den NVIDIA Isaac GR00T-Dreams Blueprint nutzen, der auf NVIDIA Cosmos™ basiert, um umfangreiche, vielfältige synthetische Bewegungsdatensätze für das Training zu generieren.

Der NVIDIA Isaac GR00T-Dreams-Blueprint generiert mithilfe von Cosmos riesige Mengen synthetischer Trajektoriendaten, die durch ein einzelnes Bild und Sprachbefehle ausgelöst werden. Dadurch können Roboter neue Aufgaben in ungewohnten Umgebungen erlernen, ohne dass spezifische Teleoperationsdaten erforderlich sind.

Der NVIDIA Isaac GR00T-Mimic-Blueprint generiert riesige Mengen an synthetischen Trajektoriendaten aus nur einer Handvoll menschlicher Demonstrationen. Dadurch können Roboter ihre Manipulationsfähigkeiten für bekannte Aufgaben und Umgebungen verbessern.

Diese Datensätze können dann zum Trainieren der offenen Isaac GR00T-Foundation-Modelle in Isaac Lab verwendet werden, was ein generalisiertes humanoides Schlussfolgern und den Erwerb robuster Fähigkeiten ermöglicht.

Mit NVIDIA Cosmos 3 können Entwickler mit einer soliden Grundlage für das Roboterlernen beginnen und sich auf das Nachtrainieren für ihre Ausführungsformen, Umgebungen und Aufgaben spezialisieren.

Software-in-Loop-Tests (SIL) sind eine entscheidende Phase für KI-gestützte Roboter und autonome Fahrzeuge, bei denen die Steuerungssoftware in einer simulierten Umgebung statt auf realer Hardware evaluiert wird.

Synthetische Daten, die aus der Simulation generiert werden, gewährleisten eine genaue Modellierung der realen Physik, einschließlich Sensoreingaben, Aktuator-Dynamik und Umweltinteraktionen. Dies bietet auch eine Möglichkeit, seltene Szenarien zu erfassen, deren Erfassung in der realen Welt gefährlich wäre. Dadurch wird sichergestellt, dass sich der Roboter-Softwarestack in der Simulation genauso verhält wie auf dem physischen Roboter, was eine gründliche Prüfung und Validierung ohne physische Hardware ermöglicht.  

Synthetische Daten aus diesen Simulationen werden in die Robotergehirne zurückgespeist. Die Robotergehirne nehmen die Ergebnisse wahr und entscheiden über die nächste Aktion. Dieser Zyklus setzt sich fort, wobei Mega den Zustand und die Position aller Assets im digitalen Zwilling präzise verfolgt.