Produzione industriale
Lightwheel accelera lo sviluppo dell'IA fisica con modelli di simulazione e di base NVIDIA
Obiettivo
Lightwheel, fornitore di soluzioni robotiche basate sulla simulazione, risponde a due barriere critiche all'IA fisica: la scarsità di dati dovuta ai costo della raccolta di dati nel mondo reale e il divario tra simulazione e realtà, dove le policy addestrate nella simulazione non riescono a tradursi nell'hardware fisico. Al fine di aiutare i produttori di robot a superare queste sfide, Lightwheel ha utilizzato le librerie NVIDIA Isaac Sim™ e Isaac™ Lab e NVIDIA Omniverse™, oltre al modello di base Isaac GR00T N1.5 per creare la piattaforma di simulazione Lightwheel, un flusso di lavoro basato sulla simulazione che colma il divario tra la ricerca e la distribuzione nel mondo reale della robotica.
Cliente
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Partner
Lightwheel
Caso d'uso
Robotica
Prodotti
Punti chiave
- Cicli di sviluppo accelerati, riducendo l'addestramento robotico da settimane o mesi a loop rapidi e iterativi attraverso flussi di lavoro basati sulla simulazione
- Rapporto dati simulati/reali 100:1, che elimina la costosa raccolta dati reali mantenendo ambienti di addestramento fisicamente realistici
- Distribuzione di successo dei modelli di base GR00T N1.5 in uno stabilimento automobilistico nell'ambiente di produzione live di Geely con robot umanoidi Unitree H1
- Soluzioni scalabili multisettoriali al servizio di clienti importanti, tra cui AgiBot, ByteDance e Figure, in applicazioni di robotica e automazione
- Basata su OpenUSD, la piattaforma di simulazione Lightwheel offre una pipeline di IA incorporata completa, dalla generazione di risorse SimReady alla simulazione basata su cloud e alla raccolta di dati di teleoperazione nella realtà virtuale.
Scarsità di dati e divario tra simulazione e realtà
Il settore dell'IA e della robotica incorporata deve affrontare due barriere fondamentali: la scarsità di dati e il divario tra la simulazione e la realtà. La raccolta dei dati reali rimane lenta e costosa, limitando la velocità di sviluppo e riducendo i set di dati di addestramento necessari per i sistemi autonomi intelligenti. Il divario tra simulazione e realtà rappresenta una sfida altrettanto significativa, in cui le politiche di IA addestrate in ambienti di simulazione non riescono a tradursi in prestazioni affidabili su hardware fisico.
Per i ricercatori, gli sviluppatori e le industrie di robotica che distribuiscono sistemi autonomi nei settori della produzione, della sanità, della logistica e dell'agricoltura, queste sfide creano limitazioni operative sostanziali. Gli approcci tradizionali richiedono una prototipazione fisica estesa, costosi test nel mondo reale e una raccolta dati che richiede molto tempo, limitando notevolmente la velocità dell'innovazione e aumentando i costi di sviluppo, oltre a limitare l'implementazione di sistemi di IA avanzati nelle applicazioni pratiche.
Lightwheel
Costruire una piattaforma basata sulla simulazione
Al fine di superare queste sfide, Lightwheel ha sviluppato la piattaforma di simulazione Lightwheel, una soluzione completa basata sulle librerie Isaac Sim, Isaac Lab e NVIDIA Omniverse, che affronta lo sviluppo di IA incorporata attraverso tre componenti fondamentali.
RRisorse Lightwheel SimReady e Simulation Foundation
Le risorse SimReady di Lightwheel sono progettate per la fisica del mondo reale, con una geometria precisa e proprietà fisiche convalidate. Queste risorse consentono agli utenti di assemblare rapidamente digital twin accurati, accelerando i flussi di lavoro per la raccolta di dati sulle teleoperazioni e l'apprendimento per rinforzo. Con il supporto integrato per il formato Universal Scene Description (USD) e MJCF, i team possono integrare facilmente le risorse in Isaac Sim, ottenendo ambienti di simulazione robusti e interoperabili.
Grazie a OpenUSD, Lightwheel crea simulazioni di alta qualità e fisicamente accurate per alimentare l'IA fisica moderna su larga scala. Lightwheel utilizza NVIDIA USD Search per semplificare la ricerca di risorse, in modo da trovare facilmente le risorse SimReady giuste per ogni attività di simulazione e assemblare le scene in pochi minuti. Questa flessibilità consente ai team di accelerare lo sviluppo nel proprio ambiente di simulazione preferito. A sostegno di questa libreria di risorse c'è il framework di simulazione di Lightwheel, che integra perfettamente Isaac Sim.
Teleoperazione e generazione di dati avanzata
Lightwheel consente la raccolta di dati di teleoperazione di alta qualità tramite visori VR (Apple Vision Pro, Meta Quest), Space Mouse e soluzioni esoscheletriche con una solida garanzia di qualità. La piattaforma combina MimicGen e DexMimicGen con le risorse, gli ambienti SimReady di Lightwheel e Isaac Sim per generalizzare i dati di simulazione teleoperata, scalando il valore dei dati sintetici da 100 a 1000 volte.
Per generare questo set di dati di addestramento diversificato, gli operatori controllano i robot umanoidi Unitree H1 simulati attraverso attività industriali complesse, tra cui la manipolazione di componenti cilindrici con Dex Hand e il coordinamento a doppio braccio per il sollevamento di vassoi pesanti in ambienti automobilistici.
Integrazione e garanzia della qualità di GR00T N1.5
Sfruttando il modello di base VLA (visual-language-action) GR00T N1.5, Lightwheel ha perfezionato il modello utilizzando dati sintetici generati dalla simulazione dai suoi ambienti SimReady. Questi dati includevano immagini RGB, stati congiunti, descrizioni delle attività generate da GPT e metadati della scena. Questo processo di formazione robusto ha portato a prestazioni impressionanti a valle, convalidando l'efficacia delle pipeline basate sulla simulazione per l'IA incorporata.
La piattaforma di simulazione Lightwheel applica un rigoroso controllo di qualità in due fasi: convalida automatizzata per il realismo visivo e la completezza delle annotazioni, seguita da revisione manuale per verificare il comportamento realistico in presenza di vincoli fisici.
Per la distribuzione automobilistica di Geely, il team ha ulteriormente personalizzato GR00T N1.5 alla morfologia specifica del robot Unitree H1, personalizzando il pianificatore del linguaggio visivo con prompt ottimizzati per la fabbrica. Utilizzando le tecniche di data augmentation Isaac Sim e DexMimicGen, hanno ampliato la diversità dell'addestramento attraverso varie condizioni di illuminazione, materiali e posizionamenti degli oggetti, consentendo prestazioni affidabili in condizioni di fabbrica dinamiche.
Durante la prototipazione, il sistema viene eseguito su GPU NVIDIA GeForce RTX™ 4090, fornendo capacità di calcolo per l'adattamento delle realizzazioni e l'ottimizzazione delle attività prima della distribuzione.
Lightwheel
Offrire AI incorporata ai settori industriali
La piattaforma di simulazione basata su NVIDIA di Lightwheel offre miglioramenti trasformativi in termini di velocità di sviluppo, successo della distribuzione e prestazioni nel mondo reale, stabilendo nuovi benchmark per lo sviluppo di IA incorporata nelle applicazioni industriali.
Sviluppo accelerato ed efficienza dei costi
L'approccio basato sulla simulazione ha ridotto i cicli di sviluppo da mesi a settimane, consentendo una rapida iterazione in ambienti virtuali. Il rapporto dati simulati/dati reali 100:1 ha eliminato la costosa raccolta di dati reali, mantenendo la precisione fisica necessaria per un trasferimento affidabile dalla simulazione alla realtà, generando dati sintetici scalabili e di alta qualità con un intervento manuale minimo.
Distribuzione industriale nel mondo reale
Lightwheel ha implementato con successo i modelli di base GR00T N1.5 nei robot umanoidi Unitree H1 presso lo stabilimento automobilistico di Geely. I robot eseguono in modo autonomo il trasporto dei componenti tra le stazioni di lavoro, il posizionamento preciso dei pezzi sui vassoi di ispezione e la manipolazione coordinata a doppio braccio per i componenti pesanti, mantenendo l'equilibrio in ambienti dinamici con risorse umane. Queste implementazioni dimostrano progressi significativi verso un'autonomia robusta e di livello industriale, in grado di adattarsi a diversi flussi di lavoro.
Impatto multisettoriale e sviluppo futuro
I principali partner tecnologici, tra cui Google DeepMind, Figure, AgiBot, ByteDance, Geely e BYD, sfruttano le risorse della piattaforma di simulazione Lightwheel e i set di dati sintetici per migliorare le prestazioni dell'IA incorporata nelle applicazioni di robotica e automazione. L'integrazione della piattaforma con l'ecosistema più ampio di NVIDIA completa la catena di servizi end-to-end per la generazione di dati sintetici, aprendo al contempo nuovi flussi di entrate dal settore della robotica.
Lo sviluppo costante si concentra sull'espansione delle funzionalità della piattaforma per la modellazione di oggetti deformabili, la creazione di risorse SimReady per attività generiche e la scalabilità delle pipeline di generazione dati sfruttando GR00T N1.5 come dimostratore semi-autonomo per le dimostrazioni iniziali di attività su larga scala.
Trasformare la ricerca avanzata in soluzioni distribuibili
La collaborazione tra Lightwheel e NVIDIA dimostra come piattaforme di simulazione avanzate e modelli di base possano trasformare lo sviluppo dell'IA incorporata, trasformando la ricerca teorica in soluzioni robotiche pratiche e implementabili. Il successo ottenuto con l'impiego di robot umanoidi alimentati da GR00T N1.5 in ambienti di produzione automobilistica reali dimostra come le strategie basate sulla simulazione possano garantire un'automazione solida e scalabile in fabbrica.
Questo approccio completo mostra come le aziende possano sfruttare l'ecosistema IA di NVIDIA per superare le barriere tradizionali nello sviluppo della robotica, raggiungendo un successo senza precedenti per velocità, efficienza dei costi e distribuzione in tutti i settori, dalla produzione automobilistica allo sviluppo di robot di nuova generazione.
"Grazie alle tecnologie NVIDIA AI, siamo riusciti a ottimizzare il nostro modello di base visione-linguaggio-azione con i nostri dati sintetici e del mondo reale di alta qualità e a distribuirlo su robot reali. Utilizzando GR00T N1.5 abbiamo consentito ai robot di comprendere istruzioni complesse e svolgere compiti versatili in ambienti dinamici e reali, capacità che prima non erano possibili."
Jay Yang
Chief Architect
Scopri come NVIDIA Isaac Sim può accelerare lo sviluppo della tua robotica simulata e reale con ambienti di simulazione fotorealistici.