Lightwheel beschleunigt die Entwicklung physischer KI mit Simulations- und Foundation-Modellen von NVIDIA

Angesichts dieser Herausforderungen hat Lightwheel die Lightwheel Simulation Platform entwickelt – eine umfassende Lösung, die auf NVIDIA Omniverse,  Isaac Simund Isaac Lab aufbaut und die Entwicklung verkörperter KI über drei zentrale Komponenten angeht.

Lightwheel SimReady-Ressourcen und Simulation Foundation

Lightwheel bietet hochwertige SimReady-Ressourcen, die speziell für die fortschrittliche Robotersimulation entwickelt wurden. Diese Ressourcen wurden mit exakten geometrischen und physikalischen Eigenschaften entwickelt und sind für Anwendungsfälle von der Datenerfassung per Teleoperation bis hin zum bestärkenden Lernen optimiert. Damit wird sichergestellt, dass sie nicht nur für die Physik, sondern auch für das Teleoperations- und Roboterlernen bereit sind.

Für maximale Kompatibilität sind die SimReady-Ressourcen sowohl im Format Universal Scene Description (USD) für Omniverse und Isaac Sim sowie im MJCF-Format für MuJoCo verfügbar. Diese Flexibilität ermöglicht Teams die beschleunigte Entwicklung in ihrer bevorzugten Simulationsumgebung. Flankiert wird diese Ressourcenbibliothek vom Simulations-Framework von Lightwheel, das nahtlos mit Isaac Sim integriert.

Erweiterte Teleoperation und Datengenerierung

Lightwheel ermöglicht das Erfassen hochwertiger Teleoperationsdaten über VR-Brillen (Apple Vision Pro, Meta Quest), 3D-Maus und Exoskelettlösungen mit robuster Qualitätssicherung. Die Plattform kombiniert MimicGen und DexMimicGen mit den SimReady-Ressourcen und -Umgebungen von Lightwheel sowie Isaac Sim, um teleoperierte Simulationsdaten zu generalisieren und damit den Wert synthetischer Daten um das 100- bis 1000-fache zu erhöhen.

Um diesen vielfältigen Trainingsdatensatz zu generieren, steuern Operatoren simulierte humanoide Unitree H1-Roboter durch komplexe industrielle Aufgaben wie die Manipulation zylindrischer Komponenten mit DexHand und die Doppelarmkoordination für das Heben schwerer Lasten in Automobilumgebungen.

GR00T N1.5-Integration und Qualitätssicherung

Mit dem Visual-Language-Action (VLA)-Foundation-Modell GR00T N1.5 hat Lightwheel die Feinabstimmung des Modells mithilfe simulationsgenerierter synthetischer Daten aus seinen SimReady-Umgebungen durchgeführt. Die Daten umfassen RGB-Bilder, gemeinsame Zustände, GPT-generierte Aufgabenbeschreibungen und Szenenmetadaten. Dieser robuste Trainingsprozess hat zu einer beeindruckenden Downstream-Leistung geführt und die Effektivität simulationsbasierter Pipelines für verkörperte KI bestätigt.

Die Lightwheel Simulation Platform wendet eine strenge, in zwei Phasen durchgeführte Qualitätssicherung an: Die automatisierte Validierung des visuellen Realismus und der Vollständigkeit der Annotationen, gefolgt von einer manuellen Prüfung im Hinblick auf realistisches Verhalten unter physikalischen Einschränkungen.

Für den Einsatz in der Automobilfertigung von Geely hat das Team GR00T N1.5 auf die spezifische Morphologie des Unitree H1-Roboters abgestimmt  und den Vision-Language-Planer mit für das Werk optimierten Prompts angepasst. Mit den Datenaugmentierungstechniken von Isaac Sim und DexMimicGen wurde die Vielfalt des Trainings durch unterschiedliche Beleuchtungen, Materialien und Objektplatzierungen erweitert, was eine zuverlässige Leistung unter dynamischen Werksbedingungen ermöglicht hat.

Während des Prototypings läuft das System auf NVIDIA GeForce RTX™ 4090 GPUs, die die Rechenkapazität für die Anpassung der Verkörperung und die Optimierung der Aufgaben vor der Bereitstellung liefern.

Die NVIDIA-basierte Simulationsplattform von Lightwheel bietet bahnbrechende Verbesserungen hinsichtlich Entwicklungsgeschwindigkeit, Bereitstellungserfolg und Leistung in der realen Welt und setzt neue Maßstäbe für die Entwicklung verkörperter KI in industriellen Anwendungen.

Beschleunigte Entwicklung und Kosteneffizienz

Der Simulation-First-Ansatz hat die Entwicklungszyklen von Monaten auf Wochen verkürzt, indem er eine schnelle Iteration in virtuellen Umgebungen ermöglicht. Das Verhältnis von 100:1 zwischen simulierten und realen Daten hat die teure Erfassung realer Daten überflüssig gemacht und gleichzeitig die physikalische Genauigkeit beibehalten, die für eine zuverlässige Übertragung der Simulationen in die reale Welt erforderlich ist, indem skalierbare, hochwertige synthetische Daten mit minimalem manuellen Eingriff generiert werden.

Industrielle Bereitstellung in der realen Welt

Lightwheel hat die GR00T N1.5-Foundation-Modelle erfolgreich in humanoiden Unitree H1-Robotern in der Automobilfertigung von Geely eingesetzt. Die Roboter führen autonom den Transport von Bauteilen zwischen Arbeitsplätzen, die präzise Platzierung von Teilen in Prüfschalen und die koordinierte Doppelarmmanipulation schwerer Bauteile durch, während sie in dynamischen Umgebungen das Gleichgewicht mit menschlichen Arbeitern aufrechterhalten. Diese Bereitstellungen belegen einen bedeutenden Fortschritt hin zu einer robusten, für die Fertigung geeigneten Autonomie, die über diverse Workflows hinweg skalierbar ist.

Auswirkungen auf mehrere Branchen und zukünftige Entwicklung

Wichtige Technologiepartner wie Google DeepMind, Figure, AgiBot, ByteDance, Geely und BYD nutzen Ressourcen und synthetische Datensätze der Lightwheel Simulation Platform, um die Leistung der verkörperten KI in Robotik- und Automatisierungsanwendungen zu verbessern. Die Integration der Plattform mit dem breiteren Ökosystem von NVIDIA komplettiert die End-to-End-Servicekette für die Generierung synthetischer Daten und erschließt gleichzeitig neue Einnahmequellen aus der Robotikbranche.

Die laufende Entwicklung konzentriert sich auf die Erweiterung der Plattform für die Modellierung deformierbarer Objekte, den Aufbau von SimReady-Ressourcen für allgemeine Aufgaben und die Skalierung von Datengenerierungspipelines durch die Nutzung von GR00T N1.5 als halbautonomem Demonstrator für erste Aufgabendemonstrationen im großen Maßstab.