Produzione industriale
Lightwheel accelera lo sviluppo dell'IA fisica con modelli di simulazione e di base NVIDIA
Obiettivo
Lightwheel, un fornitore di soluzioni di robotica basate sulla simulazione, affronta due ostacoli critici dell'IA critica: la scarsità di dati dovuta alla costosa raccolta di dati nel mondo reale e il divario tra simulazione e realtà, dove le politiche addestrate nella simulazione non riescono a tradursi in hardware fisico. Per aiutare i produttori di robot a superare queste sfide, Lightwheel ha sfruttato NVIDIA Omniverse™, Isaac Sim™, Isaac™ Lab e il modello di base visione-linguaggio-azione Isaac GR00T N1.5 per creare la piattaforma di simulazione Lightwheel, un flusso di lavoro basato sulla simulazione che colma il divario tra la ricerca e la distribuzione robotica nel mondo reale.
Cliente
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Partner
Lightwheel
Scenario di utilizzo
Robotica
Prodotti
NVIDIA Isaac
NVIDIA Omniverse
Punti chiave
- Cicli di sviluppo accelerati, riducendo l'addestramento robotico da settimane o mesi a loop rapidi e iterativi attraverso flussi di lavoro basati sulla simulazione
- Rapporto dati simulati/reali 100:1, che elimina la costosa raccolta dati reali mantenendo ambienti di addestramento fisicamente realistici
- Distribuzione di successo dei modelli di base GR00T N1.5 in uno stabilimento automobilistico nell'ambiente di produzione live di Geely con robot umanoidi Unitree H1
- Soluzioni scalabili multisettoriali al servizio di clienti importanti, tra cui AgiBot, ByteDance e Figure, in applicazioni di robotica e automazione
- Pipeline di IA incorporata completa attraverso la piattaforma di simulazione Lightwheel, dalla generazione di risorse SimReady alla simulazione basata su cloud e alla raccolta di dati di teleoperazione VR
Scarsità di dati e divario tra simulazione e realtà
Il settore dell'IA e della robotica incorporata deve affrontare due ostacoli fondamentali: la scarsità di dati e il divario tra simulazione e realtà. La raccolta dei dati reali rimane lenta e costosa, limitando la velocità di sviluppo e riducendo i set di dati di addestramento necessari per i sistemi autonomi intelligenti. Il divario tra simulazione e realtà rappresenta una sfida altrettanto significativa, in cui le politiche di IA addestrate in ambienti di simulazione non riescono a tradursi in prestazioni affidabili su hardware fisico.
Per i ricercatori nel campo della robotica, gli sviluppatori e i settori industriali che distribuiscono sistemi autonomi nella produzione, nella sanità, nella logistica e nell'agricoltura, queste sfide creano notevoli limitazioni operative. Gli approcci tradizionali richiedono una prototipazione fisica estesa, costosi test nel mondo reale e una raccolta dati che richiede molto tempo, limitando notevolmente la velocità dell'innovazione e aumentando i costi di sviluppo, oltre a limitare l'implementazione di sistemi di IA avanzati nelle applicazioni pratiche.
Lightwheel
Lightwheel
Costruire una piattaforma basata sulla simulazione
Per superare queste sfide, Lightwheel ha sviluppato la piattaforma di simulazione Lightwheel, una soluzione completa basata su NVIDIA Omniverse, Isaac Sim e Isaac Lab, che affronta lo sviluppo dell'IA incorporata attraverso tre componenti principali.
Risorse Lightwheel SimReady e Simulation Foundation
Lightwheel offre risorse SimReady di alta qualità progettate specificamente per la simulazione robotica avanzata. Progettate con geometria e proprietà fisiche accurate, queste risorse sono ottimizzate per casi d'uso che vanno dalla raccolta dati di teleoperazione all'apprendimento rinforzato, garantendo che siano non solo pronte per la fisica, ma anche per la teleoperazione e l'apprendimento robotico.
Per massimizzare la compatibilità, le risorse SimReady sono disponibili sia nel formato Universal Scene Description (USD) per Omniverse sia nel formato Isaac Sim in MJCF per MuJoCo. Questa flessibilità consente ai team di accelerare lo sviluppo nel proprio ambiente di simulazione preferito. A sostegno di questa libreria di risorse c'è il framework di simulazione di Lightwheel, che integra perfettamente Isaac Sim.
Teleoperazione avanzata e generazione di dati
Lightwheel consente la raccolta di dati di teleoperazione di alta qualità tramite visori VR (Apple Vision Pro, Meta Quest), Space Mouse e soluzioni esoscheletriche con una solida garanzia di qualità. La piattaforma combina MimicGen e DexMimicGen con le risorse SimReady, gli ambienti e Isaac Sim di Lightwheel per generalizzare i dati di simulazione teleoperata, scalando il valore dei dati sintetici da 100 a 1000 volte.
Per generare questo diversificato set di dati di formazione, gli operatori controllano robot umanoidi Unitree H1 simulati attraverso complesse attività industriali, tra cui la manipolazione di componenti cilindrici con Dex Hand e il coordinamento a doppio braccio per il sollevamento di vassoi pesanti in ambienti automobilistici.
Integrazione e garanzia della qualità di GR00T N1.5
Grazie al modello di base visione-linguaggio-azione (VLA) GR00T N1.5, Lightwheel ha perfezionato il modello utilizzando dati sintetici generati dalla simulazione dai suoi ambienti SimReady. Questi dati includevano immagini RGB, stati congiunti, descrizioni delle attività generate da GPT e metadati della scena. Questo processo di formazione robusto ha portato a prestazioni impressionanti a valle, convalidando l'efficacia delle pipeline basate sulla simulazione per l'IA incorporata.
La piattaforma di simulazione Lightwheel applica un rigoroso controllo di qualità in due fasi: convalida automatizzata per il realismo visivo e la completezza delle annotazioni, seguita da revisione manuale per verificare il comportamento realistico in presenza di vincoli fisici.
Per la distribuzione automobilistica di Geely, il team ha ulteriormente adattato GR00T N1.5 alla morfologia specifica del robot Unitree H1, personalizzando il pianificatore visione-linguaggio con prompt ottimizzati per il settore. Utilizzando le tecniche di data augmentation Isaac Sim e DexMimicGen, hanno ampliato la diversità dell'addestramento attraverso varie condizioni di illuminazione, materiali e posizionamenti degli oggetti, consentendo prestazioni affidabili in condizioni di fabbrica dinamiche.
Durante la prototipazione, il sistema viene eseguito su GPU NVIDIA GeForce RTX™ 4090, fornendo capacità di calcolo per l'adattamento dell'incorporamento e l'ottimizzazione delle attività prima della distribuzione.
Lightwheel
Offrire AI incorporata ai settori industriali
La piattaforma di simulazione basata su NVIDIA di Lightwheel offre miglioramenti trasformativi in termini di velocità di sviluppo, successo dell'implementazione e prestazioni reali, stabilendo nuovi standard di riferimento per lo sviluppo dell'IA incorporata nelle applicazioni industriali.
Sviluppo accelerato ed efficienza dei costi
L'approccio basato sulla simulazione ha ridotto i cicli di sviluppo da mesi a settimane, consentendo una rapida iterazione in ambienti virtuali. Il rapporto dati simulati/dati reali 100:1 ha eliminato la costosa raccolta di dati reali, mantenendo la precisione fisica necessaria per un trasferimento affidabile dalla simulazione alla realtà, generando dati sintetici scalabili e di alta qualità con un intervento manuale minimo.
Distribuzione industriale nel mondo reale
Lightwheel ha implementato con successo i modelli di base GR00T N1.5 nei robot umanoidi Unitree H1 presso lo stabilimento automobilistico di Geely. I robot eseguono in modo autonomo il trasporto dei componenti tra le stazioni di lavoro, il posizionamento preciso dei pezzi sui vassoi di ispezione e la manipolazione coordinata a doppio braccio per i componenti pesanti, mantenendo l'equilibrio in ambienti dinamici con risorse umane. Queste implementazioni dimostrano progressi significativi verso un'autonomia robusta e di livello industriale, in grado di adattarsi a diversi flussi di lavoro.
Impatto multisettoriale e sviluppo futuro
I principali partner tecnologici, tra cui Google DeepMind, Figure, AgiBot, ByteDance, Geely e BYD, sfruttano le risorse della piattaforma di simulazione Lightwheel e i set di dati sintetici per migliorare le prestazioni dell'IA incorporata nelle applicazioni di robotica e automazione. L'integrazione della piattaforma con l'ecosistema più ampio di NVIDIA completa la catena di servizi end-to-end per la generazione di dati sintetici, aprendo al contempo nuovi flussi di entrate dal settore della robotica.
Lo sviluppo costante si concentra sull'espansione delle funzionalità della piattaforma per la modellazione di oggetti deformabili, la creazione di risorse SimReady per attività generiche e la scalabilità delle pipeline di generazione dati sfruttando GR00T N1.5 come dimostratore semi-autonomo per le dimostrazioni iniziali di attività su larga scala.
Trasformare la ricerca avanzata in soluzioni distribuibili
La collaborazione tra Lightwheel e NVIDIA dimostra come piattaforme di simulazione avanzate e modelli di base possano trasformare lo sviluppo dell'IA incorporata, trasformando la ricerca teorica in soluzioni robotiche pratiche e implementabili. Il successo ottenuto con l'impiego di robot umanoidi alimentati da GR00T N1.5 in ambienti di produzione automobilistica reali dimostra come le strategie basate sulla simulazione possano garantire un'automazione solida e scalabile in fabbrica.
Questo approccio completo mostra come le aziende possono sfruttare l'ecosistema di IA di NVIDIA per superare le barriere tradizionali nello sviluppo della robotica, raggiungendo velocità, efficienza dei costi e successo di implementazione senza precedenti in tutti i settori, dalla produzione automobilistica allo sviluppo di robot di nuova generazione.
“Sfruttando le tecnologie di IA di NVIDIA, abbiamo perfezionato con successo il nostro modello di base di visione-linguaggio-azione con i nostri dati sintetici e reali di alta qualità e lo abbiamo implementato su robot reali. Utilizzando GR00T N1.5 abbiamo consentito ai robot di comprendere istruzioni complesse e svolgere compiti versatili in ambienti dinamici e reali, capacità che prima non erano possibili."
Jay Yang
Chief Architect
Scopri come NVIDIA Isaac Sim può accelerare lo sviluppo della tua robotica simulata e reale con ambienti di simulazione fotorealistici.