NVIDIA GH200 Grace Hopper Superchip

Combinando le architetture CPU Grace basate su Arm® e GPU Hopper con NVLink-C2C, i superchip NVIDIA GH200 accelarano la ricerca e le scoperte scientifiche nei supercomputer di tutto il mondo. Se usati in combinazione, i supercomputer con in superchip NVIDIA Grace Hopper offrono 200 exaflops, o 200 quintilioni di calcoli al secondo, di potenza di elaborazione IA ad alta efficienza energetica.

I recenti progressi nella larghezza di banda di storage e di rete, oltre alla fine della legge di Moore, hanno spostato i colli di bottiglia dell'analisi e delle query sulle CPU. Con GH200, la CPU e la GPU condividono una sola tabella delle pagine per processo, consentendo a tutti i thread di CPU e GPU di accedere a tutta la memoria allocata al sistema che può risiedere sulla memoria fisica della CPU o della GPU. GH200 elimina la necessità di copiare la memoria tra CPU e GPU, accelerando l'elaborazione dei dati fino a 36 volte.

La generazione aumentata di recupero (RAG) collega i modelli linguistici di grandi dimensioni (LLM) alle knowledge base per migliorare l'accuratezza dei modelli. La RAG richiede la generazione di embedding e l'esecuzione di ricerche vettoriali su larga scala. I 72 core a risparmio energetico di CPU Grace basati su Arm accelerano la pre-elaborazione dei dati della knowledge base, mentre NVLink-C2C accelera il trasferimento dei dati pre-elaborati alla GPU Hopper di 7 volte rispetto al PCIe, risultando in un'accelerazione di 30 volte del processo di generazione di embedding.

Le reti neurali a grafo (GNN) vengono utilizzate in una vasta gamma di applicazioni, come l'analisi delle reti sociali, la ricerca farmacologica, il rilevamento delle frodi e la chimica molecolare. GH200 sfrutta fino a 624 GB di memoria rapida combinata di CPU e GPU, 4 petaFLOPS di GPU H200 e 900 GB/s di NVLink-C2C per accelerare l'addestramento delle GNN fino a 8 volte rispetto alla GPU H100 PCIe.