NVIDIA GH200 Grace Hopper Superchip

La CPU accelerata all'avanguardia per applicazioni IA e HPC su larga scala.

Prestazioni più elevate e memoria più veloce: larghezza di banda enorme per la massima efficienza di calcolo

Il superchip NVIDIA GH200 Grace™ Hopper™ e un processore all'avanguardia progettato da zero per applicazioni IA e calcolo ad alte prestazioni (HPC) su scala gigante. Il superchip offre prestazioni fino a 10 volte superiori per le applicazioni che eseguono terabyte di dati, consentendo a scienziati e ricercatori di arrivare a soluzioni prima impensabili per i problemi più complessi del mondo.

Dai uno sguardo da vicino al superchip

NVIDIA GH200 Grace Hopper Superchip

Il superchip GH200 Grace Hopper combina le architetture NVIDIA Grace™ e Hopper™ utilizzando NVIDIA NVLink™-C2C per fornire un modello di memoria coerente CPU+GPU per applicazioni IA e HPC accelerate. Con 900 gigabyte al secondo (GB/s) di interfaccia coerente, il superchip è 7 volte più veloce del PCIe Gen5. Inoltre, grazie alla memoria GPU HBM3 e HBM3e, potenzia il calcolo accelerato e l'IA generativa. GH200 esegue tutti gli stack software e le piattaforme NVIDIA, tra cui NVIDIA AI Enterprise, SDK HPC e Omniverse™

GH200 è attualmente disponibile.

NVIDIA GH200 NVL2

NVIDIA GH200 NVL2 collega due Superchip GH200 con NVLink, offrendo fino a 288 GB di memoria a banda elevata, 10 terabyte al secondo (TB/s) di banda di memoria e 1,2 TB di memoria veloce. GH200 NVL2 offre una capacità di memoria della GPU fino a 3,5 volte superiore e una larghezza di banda 3 volte superiore rispetto alla GPU NVIDIA H100 Tensor Core in un singolo server per carichi di lavoro intensivi in termini di calcolo e memoria.

Prestazioni

Confronto tra GH200 e CPU premium a doppio socket | fisica: MILC Apex Medium

Calcolo scientifico

Combinando le architetture CPU Grace basate su Arm® e GPU Hopper con NVLink-C2C, i superchip NVIDIA GH200 accelarano la ricerca e le scoperte scientifiche nei supercomputer di tutto il mondo. Se usati in combinazione, i supercomputer con in superchip NVIDIA Grace Hopper offrono 200 exaflops, o 200 quintilioni di calcoli al secondo, di potenza di elaborazione IA ad alta efficienza energetica.

Risultati di NDS-DS con Apache Spark in esecuzione e NVIDIA RAPIDS™ Accelerator su GH200 a 16 nodi con SF10 rispetto a CPU premium a 16 nodi.

Elaborazione dei dati

I recenti progressi nella larghezza di banda di storage e di rete, oltre alla fine della legge di Moore, hanno spostato i colli di bottiglia dell'analisi e delle query sulle CPU. Con GH200, la CPU e la GPU condividono una sola tabella delle pagine per processo, consentendo a tutti i thread di CPU e GPU di accedere a tutta la memoria allocata al sistema che può risiedere sulla memoria fisica della CPU o della GPU. GH200 elimina la necessità di copiare la memoria tra CPU e GPU, accelerando l'elaborazione dei dati fino a 36 volte.

Faccia | batch = 1.024 | vettori di output = 85 M di dimensioni 768. Ricerca vettori: batch = 10.000 | query di ricerca vettori = 10.000 su 85 M vettori.

Generazione aumentata di recupero

La generazione aumentata di recupero (RAG) collega i modelli linguistici di grandi dimensioni (LLM) alle knowledge base per migliorare l'accuratezza dei modelli. La RAG richiede la generazione di embedding e l'esecuzione di ricerche vettoriali su larga scala. I 72 core a risparmio energetico di CPU Grace basati su Arm accelerano la pre-elaborazione dei dati della knowledge base, mentre NVLink-C2C accelera il trasferimento dei dati pre-elaborati alla GPU Hopper di 7 volte rispetto al PCIe, risultando in un'accelerazione di 30 volte del processo di generazione di embedding.

Rete neurale a grafo, basata su misurazioni complete del modello GraphSAGE per il confronto tra PCIe H100 e GH200.

Rete neurale a grafo

Le reti neurali a grafo (GNN) vengono utilizzate in una vasta gamma di applicazioni, come l'analisi delle reti sociali, la ricerca farmacologica, il rilevamento delle frodi e la chimica molecolare. GH200 sfrutta fino a 624 GB di memoria rapida combinata di CPU e GPU, 4 petaFLOPS di GPU H200 e 900 GB/s di NVLink-C2C per accelerare l'addestramento delle GNN fino a 8 volte rispetto alla GPU H100 PCIe.

Esplora i laboratori LaunchPad con GH200

Accelera il computing e l'IA con Grace Hopper

In questa demo, potrai vedere come il superchip NVIDIA GH200 Grace Hopper si integra perfettamente con gli stack software di NVIDIA. Include demo interattive, applicazioni e casi di studio reali, LLM inclusi.

Design di riferimento NVIDIA Grace per carichi di lavoro moderni nel data center

NVIDIA MGX con GH200 per addestramento IA, inferenza, 5G e HPC

NVIDIA MGX™ è un design di riferimento modulare in grado di accelerare vari carichi di lavoro aziendali. Integrando le funzionalità avanzate del superchip GH200 con le DPU NVIDIA BlueField®-3, input/output (IO) definiti da OEM e NVLink di quarta generazione, MGX offre soluzioni su misura per i data center moderni.

NVIDIA fornisce supporto approfondito per NVIDIA Grace con guide per la calibrazione delle prestazioni, strumenti per sviluppatori e librerie.