Per generare dati sintetici, occorre prima creare un digital twin dell'ambiente su cui eseguire il training del modello IA.
Se si esegue il training di un modello IA per un robot di magazzino, sarà necessario creare una scena virtuale con oggetti come transpallet e scaffalature. Se si esegue il training di un modello IA per l'ispezione visiva su una catena di montaggio, sarà necessario creare una scena virtuale con oggetti come un nastro trasportatore e il prodotto in lavorazione.
Una delle sfide principali che gli sviluppatori devono affrontare nello sviluppo di flussi di dati sintetici è colmare il divario tra simulazione e realtà. Per creare dati sintetici che riflettano gli scenari del mondo reale, sarà necessario randomizzare la scena in modo che possa rappresentare la moltitudine di scenari che un modello IA potrebbe incontrare. Questo significa modificare alcuni aspetti della scena, come la posizione degli oggetti, la texture e l'illuminazione. È inoltre utile modificare la posizione della telecamera e aggiungere elementi di distrazione ambientale che potrebbero influire sulle prestazioni del modello.
Con l'SDK NVIDIA Omniverse™ Replicator, gli sviluppatori possono creare flussi personalizzati che consentono agli artisti tecnici di creare e randomizzare dati sintetici per vari casi d'uso di training con IA. Omniverse Replicator alimenta NVIDIA Isaac Sim™, per generare dati sintetici per applicazioni robotiche e simulazione di veicoli autonomi, in modo da generare dati sintetici per lo sviluppo accelerato.