Robot umanoidi
Accelerare lo sviluppo di robotica IA avanzata.
Carichi di lavoro
Robotica
Settori
Sanità e scienze biologiche
Produzione
Retail/Beni di consumo confezionati
Obiettivo aziendale
Innovazione
Ritorno sugli investimenti
Prodotti
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Isaac GROOT
NVIDIA Jetson Thor
NVIDIA Omniverse
Panoramica
La nuova era dell'IA su base fisica
I robot umanoidi per uso generico sono costruiti per adattarsi rapidamente agli ambienti di lavoro urbani e industriali esistenti, svolgendo compiti noiosi, ripetitivi o fisicamente impegnativi.
Questi robot si stanno spostando dalle fabbriche alle strutture sanitarie, dove assistono gli umani e alleviano la carenza di manodopera con l'automazione.
Tuttavia, la costruzione di robot umanoidi presenta vari livelli di complessità e sfide di progettazione. Ad esempio, la replica della percezione umana, gradi di libertà, destrezza, mobilità, cognizione e controllo di tutto il corpo.
Ciò richiede progressi accelerati nei campi e nelle tecnologie di ricerca robotica, tra cui l'intelligenza artificiale, l'apprendimento automatico, la simulazione basata sulla fisica, le tecnologie dei sensori, il calcolo integrato e la meccatronica.
Figure
Tuttavia, la costruzione di robot umanoidi presenta vari livelli di complessità e sfide di progettazione. Ad esempio, la replica della percezione umana, gradi di libertà, destrezza, mobilità, cognizione e controllo di tutto il corpo.
Ciò richiede progressi accelerati nei campi e nelle tecnologie di ricerca robotica, tra cui l'intelligenza artificiale (IA), l'apprendimento automatico, la simulazione basata sulla fisica, le tecnologie dei sensori e la meccatronica.
Collegamenti rapidi
Implementazione tecnica
Promuovere lo sviluppo di robot umanoidi
NVIDIA sta sviluppando sistemi accelerati, progetti, strumenti, servizi, algoritmi e altre tecnologie robotiche che possono essere utilizzate per costruire robot per uso generale e a fattore di forma umano.
Soluzione a tre computer
I robot umanoidi devono essere in grado di percepire, pianificare e agire in modo autonomo all'interno di un dato ambiente, ciò comporta l'elaborazione di grandi quantità di dati in tempo reale. Ciò richiede l'addestramento di modelli di base che alimentano il cervello del robot, simulando e convalidando il cervello del robot e, infine, distribuendo questi cervelli e il software associato sul robot effettivo.
I tre sistemi IA sono:
- Un supercomputer NVIDIA AI, un NVIDIA DGX™ con processori NVIDIA H100 o B100, per l'addestramento di modelli di IA fisica generativa e potenti modelli di base robotici.
- Un computer NVIDIA OVX™ con GPU NVIDIA RTX™ per la generazione di dati sintetici, l'apprendimento robotico e i test in simulazione, con framework di simulazione come NVIDIA Isaac Sim™ e Isaac™ Lab basati su NVIDIA Omniverse™.
- Un computer di esecuzione su robot, come NVIDIA Jetson Thor™, basato sull'architettura Blackwell di NVIDIA, in grado di eseguire inferenze a bassa latenza e ad alto throughput.
NVIDIA Isaac GR00T
GR00T è un'iniziativa di ricerca e piattaforma di sviluppo per modelli di base di robot per uso generale e pipeline di dati, al fine di accelerare la robotica umanoide.
Modelli di base robotici
I robot ora eseguono un'ampia gamma di attività in diversi ambienti. Ognuna di queste attività richiede spesso un modello IA dedicato. Tuttavia, addestrare questi modelli da zero per ogni nuova attività e ambiente è un processo laborioso. Anziché creare modelli individuali per ogni attività, i modelli di base robotici, addestrati su diversi dati, imparano competenze generalizzabili. Questa ampia formazione consente loro di gestire una varietà di attività, ambienti e realizzazioni robotiche, migliorando significativamente la scalabilità e l'adattabilità.
NVIDIA Isaac GR00T N1 è il primo modello di base aperto al mondo per il ragionamento e le competenze dei robot umanoidi generalizzati. Questo modello cross-embodiment utilizza input multimodali, tra cui linguaggio e immagini, per eseguire attività di manipolazione in diversi ambienti. GR00T N1 è stato addestrato su un set di dati umanoidi esteso, costituito da dati reali acquisiti, dati sintetici generati utilizzando i componenti del progetto NVIDIA Isaac GR00T-Mimic e dati video provenienti da internet. È adattabile tramite post-addestramento per realizzazioni, attività e ambienti specifici.
Framework di apprendimento e simulazione robotici
La simulazione è fondamentale per gli sviluppatori al fine di addestrare robot umanoidi in una varietà di ambienti e condizioni fisicamente accurati, prima di distribuirli nel mondo reale.
I framework di apprendimento e simulazione robotica come NVIDIA Isaac Sim e Isaac Lab, basati sulla piattaforma Omniverse, consentono simulazioni fisicamente accurate per l'addestramento e la convalida di più agenti robot umanoidi in parallelo.
Isaac Lab è un framework di apprendimento unificato per robot open source basato su Isaac Sim che può essere utilizzato per l'applicazione di queste tecniche di apprendimento al fine di addestrare una policy di robot. Le politiche robotiche addestrate possono quindi essere convalidate in Isaac Sim, un'applicazione di riferimento per la creazione, la simulazione e i test di umanoidi in ambienti virtuali a base fisica.
Agility Robotics
Flussi di lavoro GR00T
Generazione ed elaborazione dei dati
Raccogliere set di dati estesi, di alta qualità e del mondo reale a questo scopo può essere un'attività impegnativa, costosa e che richiede tempo. I dati sintetici, generati da simulazioni fisicamente accurate, rispondono a questa sfida accelerando la raccolta dei dati e fornendo la diversità necessaria per generalizzare i modelli di apprendimento robotico.
Il blueprint NVIDIA Isaac GR00T-Dreams genera grandi quantità di dati sintetici sulle traiettorie utilizzando modelli di base del mondo NVIDIA Cosmos™, a partire da una singola immagine e istruzioni linguistiche. Ciò consente ai robot di apprendere nuove attività in ambienti sconosciuti senza la necessità di dati specifici per la teleoperazione.
Il blueprint GR00T-Dreams completa il blueprint GR00T-Mimic. Mentre GR00T-Mimic utilizza Omniverse e Cosmos per arricchire i dati esistenti, GR00T-Dreams utilizza Cosmos per generare dati completamente nuovi.
Manipolazione destrorsa
La funzionalità di afferramento dei robot umanoidi richiede competenze di manipolazione di oggetti abili a livello umano, in grado di eseguire attività di manipolazione sia grossolane che a grana fine. GR00T-Dexterity è una suite completa di modelli e politiche creati utilizzando un approccio basato sull'apprendimento per rinforzo, combinato a flussi di lavoro di riferimento, per consentire lo sviluppo di queste funzionalità avanzate.
Mobilità
La navigazione per uso generale in ambienti complessi e dinamici richiede un'ottimizzazione approfondita. Con il flusso di lavoro di riferimento GR00T-Mobility, è possibile creare un generalista della mobilità per navigare in varie impostazioni e realizzazioni robotiche.
Controllo di tutto il corpo
Ottenere il controllo di tutto il corpo nei robot umanoidi è una sfida che richiede sia una manipolazione stabile che una locomozione robusta. GR00T-Control affronta questo problema con una suite di modelli avanzati di pianificazione e controllo del movimento, politiche e flussi di lavoro di riferimento, semplificando lo sviluppo di sistemi di controllo efficaci.
Utilizzando l'apprendimento per imitazione e set di dati teleoperati, GR00T-Control facilita l'addestramento per politiche di movimento solide e di tutto il corpo, consentendo ai robot umanoidi di apprendere competenze di manipolazione e locomozione destre.
Percezione robotica basata sull'IA
Per migliorare la consapevolezza situazionale e l'efficienza dell'interazione, i robot umanoidi richiedono memoria a lungo termine per eventi, spazi, impostazioni personalizzate e risposte consapevoli del contesto.
GR00T-Perception permette di fare questo con una suite solida di librerie di percezione, modelli di base e flussi di lavoro di riferimento basati su Isaac Sim e Isaac ROS. Questi strumenti integrano tecnologie avanzate come modelli di linguaggio visivo e memoria aumentata di recupero per migliorare la percezione, la cognizione e l'adattabilità nei robot umanoidi.
La piattaforma di calcolo su robot di nuova generazione
L'hardware dei robot è inoltre fondamentale per l'esecuzione di un insieme di modelli IA multimodali che alimentano umanoidi con le prestazioni, latenza e sicurezza funzionale giuste in diverse condizioni.
NVIDIA Jetson AGX Thor, basato sull'architettura GPU Blackwell di NVIDIA, offre calcolo IA ad alte prestazioni e un nuovo motore di trasformazione. Ciò fornisce la superpotenza IA necessaria all'edge per abilitare la nuova generazione di umanoidi.
Collegamenti rapidi
Ecosistema
Inizia con i nostri partner di robotica umanoide
Inizia
Sviluppa robot umanoidi
Migliora lo sviluppo dei robot umanoidi con le tecnologie di base di Isaac GR00T accedendo a tutorial, forum, note di rilascio e documentazione completa.
FAQ
I robot umanoidi sono progettati per lavorare in spazi incentrati sull'uomo, eseguendo attività noiose, repetitive o fisicamente impegnative in fabbriche, magazzini, ospedali e ambienti retail. Nel breve termine, ciò include la gestione dei materiali, il prelievo e il posizionamento degli articoli, la manutenzione delle macchine, l'ispezione di base e l'assistenza ai lavoratori nel sollevamento, nel trasporto o nello spostamento di merci.
Le tecnologie NVIDIA Isaac forniscono uno stack completo per l'addestramento, la simulazione e la distribuzione di "cervelli" robot umanoidi. Ciò include l'accesso ai modelli aperti Isaac GR00T N per il ragionamento generalizzato. Gli sviluppatori possono inoltre sfruttare Isaac Lab, un framework di apprendimento robotico open source, per iterare rapidamente, riutilizzare le competenze nelle varie implementazioni e convalidare le policy in Isaac Sim prima di distribuirle sull'hardware.
La simulazione consente ai team di addestrare e testare umanoidi in digital twin di strutture reali prima di qualsiasi distribuzione fisica, in modo da valutare comportamenti, casi edge e modalità di guasto senza mettere a rischio persone, apparecchiature o robot. Questo approccio sim-first riduce la necessità di costosi prototipi fisici e test in loco su larga scala, contribuendo a rilevare i problemi di integrazione prima e a ridurre i cicli di distribuzione.
La piattaforma NVIDIA è progettata per colmare il divario di dati robotici combinando dimostrazioni limitate del mondo reale con dati sintetici e simulazioni su larga scala. Utilizzando il framework open source Isaac Lab e Isaac Sim, gli sviluppatori possono generare grandi quantità di dati di addestramento fotorealistici. Inoltre, blueprint come GR00T-Dreams utilizzano modelli di base del mondo Cosmos per creare dati di traiettoria sintetici completamente nuovi da semplici istruzioni, aiutando ad avviare le policy senza richiedere enormi set di dati del mondo reale in anticipo.
I robot umanoidi richiedono un potente calcolo integrato per elaborare dati multimodali e garantire la sicurezza funzionale senza fare affidamento sulla connettività cloud. NVIDIA Jetson AGX Thor, basato sull'architettura Blackwell, svolge questo ruolo offrendo le prestazioni IA e la bassa latenza necessarie per eseguire modelli di IA generativa e di base direttamente sul robot. Ciò consente al robot di rilevare, pianificare e agire in modo autonomo in ambienti reali diversi e complessi.
Collegamenti rapidi
RTX PRO Server: la migliore piattaforma per l'IA industriale e fisica
NVIDIA RTX PRO Server accelera ogni carico di lavoro di digitalizzazione industriale, simulazione di robot e generazione di dati sintetici.
