Robot umanoidi
Accelerare lo sviluppo di robotica IA avanzata.
Carichi di lavoro
Simulazione / Modellazione / Progettazione
Robotica
Settori
Settore manifatturiero
Hardware/Semiconduttori
Settore sanitario e bioscienze
Retail/Beni di consumo confezionati
Città/Spazi intelligenti
Obiettivo aziendale
Innovazione
Ritorno sugli investimenti
Prodotti
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Isaac GROOT
NVIDIA Jetson Thor
NVIDIA Omniverse
Panoramica
La nuova era dell'IA su base fisica
I robot umanoidi per uso generico sono costruiti per adattarsi rapidamente agli ambienti di lavoro urbani e industriali esistenti, svolgendo compiti noiosi, ripetitivi o fisicamente impegnativi.
Questi robot si stanno spostando dalle fabbriche alle strutture sanitarie, dove assistono gli umani e alleviano la carenza di manodopera con l'automazione.
Figure
Tuttavia, la costruzione di robot umanoidi presenta vari livelli di complessità e sfide di progettazione. Ad esempio, la replica della percezione umana, gradi di libertà, destrezza, mobilità, cognizione e controllo di tutto il corpo.
Ciò richiede progressi accelerati nei campi e nelle tecnologie di ricerca robotica, tra cui l'intelligenza artificiale (IA), l'apprendimento automatico, la simulazione basata sulla fisica, le tecnologie dei sensori e la meccatronica.
Collegamenti rapidi
Implementazione tecnica
Promuovere lo sviluppo di robot umanoidi
NVIDIA sta sviluppando sistemi accelerati, progetti, strumenti, servizi, algoritmi e altre tecnologie robotiche che possono essere utilizzate per costruire robot per uso generale e a fattore di forma umano.
Soluzione a tre computer
I robot umanoidi devono essere in grado di percepire, pianificare e agire in modo autonomo all'interno di un dato ambiente, ciò comporta l'elaborazione di grandi quantità di dati in tempo reale. Ciò richiede l'addestramento di modelli di base che alimentano il cervello del robot, simulando e convalidando il cervello del robot e, infine, distribuendo questi cervelli e il software associato sul robot effettivo.
I tre sistemi IA sono:
- Un supercomputer NVIDIA AI, un NVIDIA DGX™ con processori NVIDIA H100 o B100, per l'addestramento di modelli di IA fisica generativa e potenti modelli di base robotici.
- Un computer NVIDIA OVX™ con GPU NVIDIA RTX™ per la generazione di dati sintetici, l'apprendimento robotico e i test in simulazione, con framework di simulazione come NVIDIA Isaac Sim™ e Isaac™ Lab basati su NVIDIA Omniverse™.
- Un computer di esecuzione su robot, come NVIDIA Jetson Thor™, basato sull'architettura Blackwell di NVIDIA, in grado di eseguire inferenze a bassa latenza e ad alto throughput.
NVIDIA Isaac GR00T
GR00T è un'iniziativa di ricerca e piattaforma di sviluppo per modelli di base di robot per uso generale e pipeline di dati, al fine di accelerare la robotica umanoide.
Modelli di base robotici
I robot ora eseguono un'ampia gamma di attività in diversi ambienti. Ognuna di queste attività richiede spesso un modello IA dedicato. Tuttavia, addestrare questi modelli da zero per ogni nuova attività e ambiente è un processo laborioso. Anziché creare modelli individuali per ogni attività, i modelli di base robotici, addestrati su diversi dati, imparano competenze generalizzabili. Questa ampia formazione consente loro di gestire una varietà di attività, ambienti e realizzazioni robotiche, migliorando significativamente la scalabilità e l'adattabilità.
NVIDIA Isaac GR00T N1 è il primo modello di base aperto al mondo per il ragionamento e le competenze dei robot umanoidi generalizzati. Questo modello cross-embodiment utilizza input multimodali, tra cui linguaggio e immagini, per eseguire attività di manipolazione in diversi ambienti. GR00T N1 è stato addestrato su un set di dati umanoidi esteso, costituito da dati reali acquisiti, dati sintetici generati utilizzando i componenti del progetto NVIDIA Isaac GR00T-Mimic e dati video provenienti da internet. È adattabile tramite post-addestramento per realizzazioni, attività e ambienti specifici.
Framework di apprendimento e simulazione robotici
La simulazione è fondamentale per gli sviluppatori al fine di addestrare robot umanoidi in una varietà di ambienti e condizioni fisicamente accurati, prima di distribuirli nel mondo reale.
I framework di apprendimento e simulazione robotica come NVIDIA Isaac Sim e Isaac Lab, basati sulla piattaforma Omniverse, consentono simulazioni fisicamente accurate per l'addestramento e la convalida di più agenti robot umanoidi in parallelo.
Isaac Lab è un framework di apprendimento unificato per robot open source basato su Isaac Sim che può essere utilizzato per l'applicazione di queste tecniche di apprendimento al fine di addestrare una policy di robot. Le politiche robotiche addestrate possono quindi essere convalidate in Isaac Sim, un'applicazione di riferimento per la creazione, la simulazione e i test di umanoidi in ambienti virtuali a base fisica.
Agility Robotics
Flussi di lavoro GR00T
Generazione ed elaborazione dei dati
Raccogliere set di dati estesi, di alta qualità e del mondo reale a questo scopo può essere un'attività impegnativa, costosa e che richiede tempo. I dati sintetici, generati da simulazioni fisicamente accurate, rispondono a questa sfida accelerando la raccolta dei dati e fornendo la diversità necessaria per generalizzare i modelli di apprendimento robotico,
I flussi di lavoro di riferimento GR00T per la generazione di dati consentono agli sviluppatori di generare movimento sintetico per la manipolazione, il movimento e la posizione a partire da una manciata di dimostrazioni umane. Le immagini o i video generati possono essere portati dal 3D al reale grazie a NVIDIA Cosmos™, riducendo il divario tra simulazione e realtà.
Manipolazione destrorsa
La funzionalità di afferramento dei robot umanoidi richiede competenze di manipolazione di oggetti abili a livello umano, in grado di eseguire attività di manipolazione sia grossolane che a grana fine. GR00T-Dexterity è una suite completa di modelli e politiche creati utilizzando un approccio basato sull'apprendimento per rinforzo, combinato a flussi di lavoro di riferimento, per consentire lo sviluppo di queste funzionalità avanzate.
Mobilità
La navigazione per uso generale in ambienti complessi e dinamici richiede un'ottimizzazione approfondita. Con il flusso di lavoro di riferimento GR00T-Mobility, è possibile creare un generalista della mobilità per navigare in varie impostazioni e realizzazioni robotiche.
Controllo di tutto il corpo
Ottenere il controllo di tutto il corpo nei robot umanoidi è una sfida che richiede sia una manipolazione stabile che una locomozione robusta. GR00T-Control affronta questo problema con una suite di modelli avanzati di pianificazione e controllo del movimento, politiche e flussi di lavoro di riferimento, semplificando lo sviluppo di sistemi di controllo efficaci.
Utilizzando l'apprendimento per imitazione e set di dati teleoperati, GR00T-Control facilita l'addestramento per politiche di movimento solide e di tutto il corpo, consentendo ai robot umanoidi di apprendere competenze di manipolazione e locomozione destre.
Percezione robotica basata sull'IA
Per migliorare la consapevolezza situazionale e l'efficienza dell'interazione, i robot umanoidi richiedono memoria a lungo termine per eventi, spazi, impostazioni personalizzate e risposte consapevoli del contesto.
GR00T-Perception permette di fare questo con una suite solida di librerie di percezione, modelli di base e flussi di lavoro di riferimento basati su Isaac Sim e Isaac ROS. Questi strumenti integrano tecnologie avanzate come modelli di linguaggio visivo e memoria aumentata di recupero per migliorare la percezione, la cognizione e l'adattabilità nei robot umanoidi.
La piattaforma di calcolo su robot di nuova generazione
L'hardware dei robot è inoltre fondamentale per l'esecuzione di un insieme di modelli IA multimodali che alimentano umanoidi con le prestazioni, latenza e sicurezza funzionale giuste in diverse condizioni.
NVIDIA Jetson AGX Thor, basato sull'architettura GPU Blackwell di NVIDIA, offre calcolo IA ad alte prestazioni e un nuovo motore di trasformazione. Ciò fornisce la superpotenza IA necessaria all'edge per abilitare la nuova generazione di umanoidi.
Collegamenti rapidi
Ecosistema
Inizia con i nostri partner di robotica umanoide
Inizia
Sviluppa robot umanoidi
Migliora lo sviluppo di robot umanoidi con le tecnologie di base GR00T accedendo a tutorial, forum, note di rilascio e documentazione completa.
