Fertigung
Lightwheel beschleunigt die Entwicklung physischer KI mit Simulations- und Foundation-Modellen von NVIDIA
Ziel
Lightwheel, ein Anbieter von Simulations-Robotiklösungen, kümmert sich um zwei wichtige physikalische KI-Probleme: den Mangel an Daten, weil das Sammeln von Daten in der echten Welt teuer ist, und die Lücke zwischen Simulation und Realität, bei der in der Simulation trainierte Strategien nicht auf physische Hardware übertragen werden können. Um Roboterherstellern dabei zu helfen, diese Herausforderungen zu bewältigen, nutzte Lightwheel NVIDIA Isaac Sim™ und Isaac™ Lab, NVIDIA Omniverse™-Bibliotheken und das Isaac GR00T N1.5-Modell für grundlegende Funktionen wie Wahrnehmung, Sprache und Bewegung, um die Lightwheel Simulation Platform zu entwickeln – einen simulationsorientierten Workflow, der die Lücke zwischen Forschung und dem Einsatz von Robotern in der Praxis schließt.
Kunde
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Partner
Lightwheel
Anwendungsbeispiel
Robotik
Produkte
Das Wichtigste im Überblick
- Beschleunigte Entwicklungszyklen, die das wochen- oder monatelange Robotertraining mittels schneller, iterativer Schleifen durch Simulation-First-Workflows verkürzen
- Verhältnis von 100:1 zwischen simulierten und realen Daten, wodurch die teure Datenerfassung in der realen Welt entfällt, aber physikalisch realistische Trainingsumgebungen beibehalten werden
- Erfolgreiche Bereitstellung von GR00T N1.5-Foundation-Modellen in der Automobilfertigung von Geely, bei der humanoide Unitree H1-Roboter in der Live-Produktionsumgebung eingesetzt werden
- Skalierbare branchenübergreifende Lösungen für Großkunden wie AgiBot, ByteDance und Figure für diverse Robotik- und Automatisierungsanwendungen
- Die von OpenUSD unterstützte Lightwheel-Simulationsplattform bietet eine vollständige verkörperte KI-Pipeline, von der Generierung von SimReady-Assets über die cloudbasierte Simulation und die Erfassung von Teleoperation-Daten in der virtuellen Realität.
Datenknappheit und die Lücke zwischen Simulation und Realität
Die Branche für verkörperte KI und Robotik hat zwei grundlegende Hürden zu bewältigen: die Datenknappheit und die Lücke zwischen Simulation und Realität. Das Erfassen realer Daten ist weiterhin langsam und kostenintensiv. Dies bremst die Entwicklungsgeschwindigkeit und liefert beschränkte Trainingsdatensätze für intelligente autonome Systeme. Die Lücke zwischen Simulation und Realität bildet eine weitere Hürde, da in Simulationsumgebungen trainierte KI-Richtlinien auf physischer Hardware nicht zuverlässig Leistung bringen.
Für Robotikforscher, -Entwickler und -Branchen, die autonome Systeme in der Fertigung, im Gesundheitswesen, in der Logistik und in der Landwirtschaft einsetzen, schaffen diese Herausforderungen erhebliche betriebliche Einschränkungen. Herkömmliche Ansätze erfordern ein umfangreiches physisches Prototyping, kostspielige Praxistests und eine zeitaufwändige Datenerfassung. Dies schränkt die Innovationsgeschwindigkeit stark ein, steigert die Entwicklungskosten und behindert den Einsatz fortschrittlicher KI-Systeme in praktischen Anwendungen.
Lightwheel
Aufbau einer Simulation-First-Plattform
Um diese Probleme zu lösen, hat Lightwheel die Lightwheel Simulation Platform entwickelt – eine umfassende Lösung, die auf Isaac Sim, Isaac Lab und NVIDIA Omniverse aufbaut und die Entwicklung von eingebetteter KI mit drei Kernkomponenten ermöglicht.
Lightwheel SimReady-Ressourcen und Simulation Foundation
Die SimReady-Ressourcen von Lightwheel wurden für die reale Physik entwickelt, mit präziser Geometrie und validierten physikalischen Eigenschaften. Diese Ressourcen ermöglichen Benutzern die schnelle Erstellung genauer digitaler Zwillinge und beschleunigen die Workflows in der Teleoperations-Datenerfassung und für bestärkendes Lernen. Mit integrierter Unterstützung für das Universal Scene Description (USD)-Format und MJCF können Teams Ressourcen nahtlos in Isaac Sim integrieren und robuste, interoperable Simulationsumgebungen ermöglichen.
Mithilfe von OpenUSD erstellt Lightwheel hochwertige, physikalisch genaue Simulationen, die moderne physische KI im großen Maßstab ermöglichen. Lightwheel nutzt NVIDIA USD Search, um die Ressourcen-Erkennung zu optimieren. So lassen sich für jede Simulationsaufgabe ganz einfach die richtigen SimReady-Assets finden und Szenen in wenigen Minuten zusammenstellen. Diese Flexibilität ermöglicht Teams die beschleunigte Entwicklung in ihrer bevorzugten Simulationsumgebung. Flankiert wird diese Ressourcenbibliothek vom Simulations-Framework von Lightwheel, das nahtlos mit Isaac Sim integriert.
Erweiterte Teleoperation und Datengenerierung
Lightwheel ermöglicht das Erfassen hochwertiger Teleoperationsdaten über VR-Brillen (Apple Vision Pro, Meta Quest), 3D-Maus und Exoskelettlösungen mit robuster Qualitätssicherung. Die Plattform kombiniert MimicGen und DexMimicGen mit den SimReady-Assets, Umgebungen und Isaac Sim von Lightwheel, um teleoperierte Simulationsdaten zu generalisieren und den Wert synthetischer Daten um das 100- bis 1000-Fache zu skalieren.
Um diesen vielfältigen Trainingsdatensatz zu generieren, steuern Betreiber simulierte Unitree H1-Roboter durch komplexe industrielle Aufgaben, einschließlich der Manipulation zylindrischer Komponenten mit Dex Hand und der Zwei-Arm-Koordination für das Heben von schweren Tabletts in Automobilumgebungen.
GR00T N1.5 Integration und Qualitätssicherung
Durch die Nutzung des GR00T N1.5 Visual-Language-Action (VLA) Foundation Model hat Lightwheel das Modell mit Hilfe von Simulationen generierten synthetischen Daten aus seinen SimReady-Umgebungen feinabgestimmt. Die Daten umfassen RGB-Bilder, gemeinsame Zustände, GPT-generierte Aufgabenbeschreibungen und Szenenmetadaten. Dieser robuste Trainingsprozess hat zu einer beeindruckenden Downstream-Leistung geführt und die Effektivität simulationsbasierter Pipelines für verkörperte KI bestätigt.
Die Lightwheel Simulation Platform wendet eine strenge, in zwei Phasen durchgeführte Qualitätssicherung an: Die automatisierte Validierung des visuellen Realismus und der Vollständigkeit der Annotationen, gefolgt von einer manuellen Prüfung im Hinblick auf realistisches Verhalten unter physikalischen Einschränkungen.
Für die Bereitstellung von Geely-Fahrzeugen hat das Team GR00T N1.5 weiter an die spezifische Morphologie des Unitree H1-Roboters angepasst und den Vision-Language-Planer mit fabrikoptimierten Prompts angepasst. Mit den Datenaugmentierungstechniken von Isaac Sim und DexMimicGen wurde die Vielfalt des Trainings durch unterschiedliche Beleuchtungen, Materialien und Objektplatzierungen erweitert, was eine zuverlässige Leistung unter dynamischen Werksbedingungen ermöglicht hat.
Während des Prototypings wird das System auf NVIDIA GeForce RTX™ 4090-GPUs ausgeführt und bietet Rechenkapazität für die Anpassung der Bereitstellung und die Optimierung der Aufgabe vor der Bereitstellung.
Lightwheel
Bereitstellung verkörperter KI für die Industrie
Die auf NVIDIA basierende Simulationsplattform von Lightwheel bietet transformative Verbesserungen in den Bereichen Entwicklungsgeschwindigkeit, Bereitstellungserfolg und reale Leistung und setzt neue Benchmarks für die Entwicklung von verkörperter KI in industriellen Anwendungen.
Beschleunigte Entwicklung und Kosteneffizienz
Der Simulation-First-Ansatz hat die Entwicklungszyklen von Monaten auf Wochen verkürzt, indem er eine schnelle Iteration in virtuellen Umgebungen ermöglicht. Das Verhältnis von 100:1 zwischen simulierten und realen Daten hat die teure Erfassung realer Daten überflüssig gemacht und gleichzeitig die physikalische Genauigkeit beibehalten, die für eine zuverlässige Übertragung der Simulationen in die reale Welt erforderlich ist, indem skalierbare, hochwertige synthetische Daten mit minimalem manuellen Eingriff generiert werden.
Industrielle Bereitstellung in der realen Welt
Lightwheel hat die GR00T N1.5-Foundation-Modelle erfolgreich in humanoiden Unitree H1-Robotern in der Automobilfertigung von Geely eingesetzt. Die Roboter führen autonom den Transport von Bauteilen zwischen Arbeitsplätzen, die präzise Platzierung von Teilen in Prüfschalen und die koordinierte Doppelarmmanipulation schwerer Bauteile durch, während sie in dynamischen Umgebungen das Gleichgewicht mit menschlichen Arbeitern aufrechterhalten. Diese Bereitstellungen belegen einen bedeutenden Fortschritt hin zu einer robusten, für die Fertigung geeigneten Autonomie, die über diverse Workflows hinweg skalierbar ist.
Auswirkungen auf mehrere Branchen und zukünftige Entwicklung
Wichtige Technologiepartner wie Google DeepMind, Figure, AgiBot, ByteDance, Geely und BYD nutzen Ressourcen und synthetische Datensätze der Lightwheel Simulation Platform, um die Leistung der verkörperten KI in Robotik- und Automatisierungsanwendungen zu verbessern. Die Integration der Plattform mit dem breiteren Ökosystem von NVIDIA komplettiert die End-to-End-Servicekette für die Generierung synthetischer Daten und erschließt gleichzeitig neue Einnahmequellen aus der Robotikbranche.
Die laufende Entwicklung konzentriert sich auf die Erweiterung der Plattform für die Modellierung deformierbarer Objekte, den Aufbau von SimReady-Ressourcen für allgemeine Aufgaben und die Skalierung von Datengenerierungspipelines durch die Nutzung von GR00T N1.5 als halbautonomem Demonstrator für erste Aufgabendemonstrationen im großen Maßstab.
Fortschrittliche Forschung in bereitstellbare Lösungen umsetzen
Die Zusammenarbeit von Lightwheel mit NVIDIA zeigt, wie fortschrittliche Simulationsplattformen und Foundation-Modelle die Entwicklung verkörperter KI transformieren und theoretische Forschung in praktische, bereitstellbare Roboterlösungen umsetzen können. Diese erfolgreiche Bereitstellung humanoider Roboter auf Basis von GR00T N1.5 in realen Fertigungsumgebungen zeigt, wie Simulation-First-Strategien eine robuste, skalierbare Automatisierung in der Fabrik ermöglichen.
Dieser umfassende Ansatz zeigt, wie Unternehmen das KI-Ökosystem von NVIDIA nutzen können, um bisherige Hindernisse in der Robotikentwicklung zu überwinden und beispiellose Geschwindigkeit, Kosteneffizienz, und Bereitstellungserfolg in verschiedenen Branchen, von der Automobilfertigung bis hin zur Entwicklung von Robotern der nächsten Generation, zu erreichen.
„Durch die Nutzung von NVIDIA-KI-Technologien haben wir unser Vision-Language-Action-Foundation-Modell erfolgreich mit unseren eigenen hochwertigen synthetischen und realen Daten abgestimmt und auf echten Robotern eingesetzt. Mit GR00T N1.5 verstehen Roboter komplexe Anweisungen und können vielseitige Aufgaben in dynamischen, realen Umgebungen ausführen. Dies war bislang nicht möglich.“
Jay Yang
Chief Architect
Erfahren Sie, wie NVIDIA Isaac Sim Ihre eigene Sim-to-Real-Roboterentwicklung mit fotorealistischen Simulationsumgebungen beschleunigen kann.