Robotiksimulation

Physische KI-gestützte Roboter und Roboterflotten müssen komplexe Aufgaben in der physischen Welt selbstständig erkennen, planen und ausführen können. Dazu gehören der sichere und effiziente Transport und die Manipulation von Objekten in dynamischen und unvorhersehbaren Umgebungen.  

Um dieses Maß an Autonomie zu erreichen, ist ein „Sim-First“-Ansatz erforderlich. 

Mit der Robotersimulation können Robotikentwickler diese fortschrittlichen Systeme durch virtuelles Lernen und Testen von Robotern trainieren, simulieren und validieren. Dieser Sim-First-Ansatz gilt auch für Multi-Roboterflottentests und ermöglicht es autonomen Systemen, Industrieanlagen auf der Grundlage von Echtzeit-Produktionsdaten, Sensoreingaben und Reasoning zu verstehen und mit ihnen zu interagieren. All dies geschieht in physikbasierten digitalen Darstellungen von Umgebungen, wie Lagerhäusern und Fabriken, vor der Bereitstellung.

Die Simulation kann neuartige Anwendungsfälle erschließen, indem sie das Training von Foundation- und Roboterrichtlinien-Modellen mit synthetischer Datengenerierung (SDG) als Ausgangspunkt nutzt. Diese Daten können aus Text, 2D- oder 3D-Bildern im visuellen und nicht-visuellen Spektrum und sogar aus Bewegungsdaten bestehen, die in Verbindung mit realen Daten zum Einsatz kommen können, um multimodale physische KI-Modelle zu trainieren. 

Die Domänenrandomisierung ist ein wichtiger Schritt im SDG-Workflow, bei dem viele Parameter in einer Szene geändert werden können, um eine große Vielfalt an Trainingsdaten zu generieren.  Diese können alles umfassen, vom Standort bis hin zur Farbe, Oberflächenstruktur und Beleuchtung der Objekte. Die Erweiterung in der Nachbearbeitungsphase mit NVIDIA Cosmos™ World-Foundation-Modelle (WFM) kann die generierten Daten weiter diversifizieren und den nötigen Realismus hinzufügen, um die Kluft zwischen Simulation und Realität zu verringern.

Roboterlernen ist entscheidend, wenn es darum geht, sicherzustellen, dass autonome Maschinen robuste Fähigkeiten wiederholt und effizient in der physischen Welt ausführen können. High-Fidelity-Simulation bietet einen virtuellen Trainingsplatz für Roboter, um ihre Fähigkeiten durch das Prinzip von Versuch und Irrtum oder durch Imitation zu verbessern. Dadurch wird sichergestellt, dass das in der Simulation erlernte Verhalten des Roboters leichter in die reale Welt übertragen werden kann.

NVIDIA Isaac™ Lab, ein auf NVIDIA Isaac Sim™ basierendes, einheitliches und modulares Open-Source-Framework für das Training von Robotern, vereinfacht gängige Arbeitsabläufe in der Robotik wie bestärkendes Lernen, Lernen aus Demonstrationen und Bewegungsplanung.

Die GR00T-Mimic- und GR00T-Dreams-Blueprints von NVIDIA Isaac, die auf NVIDIA Cosmos basieren, produzieren große, vielfältige synthetische Bewegungsdaten für das Training. 

Diese Datenbestände können dann verwendet werden, um die offenen Isaac-GR00T-N-Foundation-Modelle im Isaac Lab zu trainieren, was verallgemeinertes humanoides Schlussfolgern und das Erlernen zuverlässiger Fähigkeiten ermöglicht.

Software-in-Loop (SIL) ist eine kritische Test- und Validierungsphase bei der Entwicklung von Software für physikalische KI-betriebene Robotik-Systeme. Bei der SIL wird die Software, die den Roboter steuert, in einer simulierten Umgebung und nicht auf der realen Hardware getestet.

SIL mit Simulation gewährleistet eine genaue Modellierung der realen Physik, einschließlich Sensoreingaben, Aktuatordynamik und Umweltinteraktionen. Isaac Sim bietet Entwicklern die erforderlichen Funktionen, um zu testen, ob sich der Roboter-Software-Stack in der Simulation so verhält, wie er es beim physischen Roboter tun würde. So verbessert sich die Validität der Testergebnisse.

SIL kann auch von einem einzelnen Roboter auf Roboterflotten erweitert werden. Lagerhäuser und andere Industrieanlagen sind hochkomplexe logistische Umgebungen mit Herausforderungen wie Nachfrageschwankungen, Platzbeschränkungen und Verfügbarkeit von Arbeitskräften. Diese Umgebungen können von der Integration von Flotten von Robotersystemen zur Unterstützung des Betriebs profitieren.

Mega ist ein NVIDIA Omniverse™ Blueprint für die Entwicklung, das Testen und die Optimierung physischer KI und Roboterflotten in großem Umfang in einem digitalen Zwilling vor der Bereitstellung in realen Einrichtungen. Mit von Mega gesteuerten digitalen Zwillingen, einschließlich Weltsimulatoren, die alle Roboteraktivitäten und Sensordaten koordinieren, können Unternehmen die Robotergehirne kontinuierlich für intelligente Routen und Aufgaben aktualisieren, um die betriebliche Effizienz zu steigern.

Synthetische Datengenerierung, Roboterlernen und Robotertests sind in hohem Maße voneinander abhängige Arbeitsabläufe und erfordern eine sorgfältige Orchestrierung über eine heterogene Infrastruktur hinweg. Roboter-Workflows erfordern auch entwicklerfreundliche Spezifikationen, die die Infrastruktureinrichtung vereinfachen, einfache Möglichkeiten zur Nachverfolgung von Daten- und Modellabstammung sowie eine sichere und optimierte Möglichkeit zur Bereitstellung von Workloads bieten. 

NVIDIA OSMO ist eine Cloud-native Orchestrierungsplattform für die Skalierung komplexer, mehrstufiger und Multi-Container-Robotik-Workloads über lokale, private und öffentliche Clouds hinweg. Mit OSMO können Sie eine Reihe von Aufgaben orchestrieren, visualisieren und verwalten. Dazu gehört alles von der Generierung synthetischer Daten über das Trainieren von Modellen bis hin zur Durchführung von bestärkendem Lernen sowie der Implementierung von Software-in-the-Loop-Systemen für Humanoide, autonome mobile Roboter (AMRs) und industrielle Manipulatoren.