Generazione di dati sintetici (SDG)

I modelli di IA fisica permettono ai sistemi autonomi di percepire, comprendere, interagire e navigare nell'ambiente reale. I dati sintetici sono essenziali per il training e il testing dei modelli di IA fisica.

I modelli fondamentali mondiali (MFM) utilizzano una varietà di dati di input, tra cui testo, immagini, video e informazioni sul movimento, per generare e simulare mondi virtuali con una notevole precisione.

I WFM si distinguono per una straordinaria capacità di generalizzazione, che consente una messa a punto minima per adattarsi a diverse applicazioni. Agiscono come motori cognitivi per robot e veicoli autonomi, sfruttando una comprensione approfondita delle dinamiche del mondo reale. Per raggiungere questo livello di sofisticazione, i MFM si basano su grandi quantità di dati per l'addestramento.

Lo sviluppo di WFM beneficia significativamente dalla generazione di dati sintetici illimitati tramite simulazioni fisicamente accurate. Questo approccio non solo accelera il training dei modelli, ma ne potenzia anche la capacità di generalizzazione in una varietà di scenari. Le tecniche di randomizzazione del dominio aumentano ulteriormente questo processo consentendo la manipolazione di numerosi parametri come l'illuminazione, lo sfondo, il colore, la posizione e l'ambiente: variazioni che sarebbero quasi impossibili da catturare completamente dai soli dati del mondo reale.

L'apprendimento robotico è un insieme di algoritmi e metodologie che consentono ai robot di acquisire nuove abilità, come manipolazione, locomozione e classificazione, operando in ambienti simulati o reali. L'apprendimento per rinforzo, l'apprendimento per imitazione e la politica di diffusione sono le metodologie chiave applicate per l'addestramento dei robot.

Una competenza fondamentale per i robot è la manipolazione, che include operazioni come raccogliere, ordinare e assemblare oggetti, attività essenziali in contesti industriali e manifatturieri. Le dimostrazioni umane del mondo reale vengono comunemente utilizzate come dati di input per il training dei modelli. Tuttavia, la raccolta di un dataset ampio e diversificato comporta costi elevati.

Per superare questa sfida, i team di sviluppo possono utilizzare i blueprint NVIDIA Isaac GR00T-Mimic e GR00T-Dreams, basati su NVIDIA Cosmos™, per produrre set di dati di movimento sintetici e diversificati per l'addestramento.

Il blueprint NVIDIA Isaac GR00T-Dreams genera una grande quantità di dati sintetici sulle traiettorie utilizzando Cosmos, a partire da una singola immagine e istruzioni linguistiche. Ciò consente ai robot di apprendere nuove attività in ambienti sconosciuti senza la necessità di dati specifici per la teleoperazione.

Questi set di dati possono quindi essere utilizzati per addestrare i modelli di fondazione aperti Isaac GR00T N all'interno di Isaac Lab, rendendo possibile il ragionamento umanoide generalizzato e una solida acquisizione delle competenze.

Il software-in-loop (SIL) rappresenta una fase di test cruciale per robot e veicoli autonomi basati su IA, in cui il software di controllo viene valutato all'interno di un ambiente simulato anziché su hardware fisico.

I dati sintetici generati tramite simulazione garantiscono una modellazione accurata della fisica del mondo reale, inclusi gli ingressi dei sensori, la dinamica degli attuatori e le interazioni ambientali. In questo modo è possibile simulare scenari rari o pericolosi, difficili da acquisire nel mondo reale, garantendo un training più sicuro ed efficace. In questo modo si assicura che lo stack software del robot in simulazione replichi fedelmente il comportamento del robot fisico, consentendo test e convalide approfondite senza la necessità di hardware fisico.

Mega, un Omniverse Blueprint per sviluppare, testare e ottimizzare flotte di IA fisica e di robot su vasta scala, trasformando le flotte in gemelli digitali prima di distribuirle nelle strutture reali.

Questi robot simulati possono eseguire attività percependo e ragionando all'interno degli ambienti. Sono in grado di pianificare i movimenti successivi ed eseguire azioni simulate all'interno del digital twin. I dati sintetici generati da queste simulazioni vengono reintegrati nei cervelli robotici. Il cervello robotico interpreta i risultati e decide l'azione successiva, innescando un ciclo continuo in cui Mega monitora con precisione lo stato e la posizione di tutti gli asset nel digital twin.

I modelli generativi possono essere utilizzati per avviare e aumentare i processi di generazione di dati sintetici. I modelli da testo a 3D consentono la creazione di risorse 3D per popolare una scena di simulazione 3D. I modelli di IA generativi da testo a immagine possono essere utilizzati anche per modificare e aumentare le immagini esistenti, generate da simulazioni o raccolte nel mondo reale attraverso l'inpainting o l'outpainting procedurale.

I modelli di IA generativa da testo a testo, come Evian 2 405B e Nemotron-4 340B, possono essere utilizzati per generare dati sintetici per creare potenti Modelli di Linguaggio di Grandi Dimensioni (LLM) per il settore sanitario, la finanza, la sicurezza informatica, la vendita al dettaglio e le telecomunicazioni.

Evian 2 405B e Nemotron-4 340B offrono una licenza aperta, concedendo agli sviluppatori il diritto di possedere e utilizzare i dati generati nelle proprie applicazioni, sia in ambito accademico che commerciale.