NVIDIA GB200 NVL72

GB200 NVL72 introduce funzionalità all'avanguardia e un Transformer Engine di seconda generazione, che abilita l'IA FP4. Abbinato a di quinta generazione, offre prestazioni di inferenza LLM in tempo reale 30 3volte più veloci per modelli di linguaggio con miliardi di parametri. Questo progresso è possibile grazie a una nuova generazione di Tensor Core, che introduce nuovi formati di microscaling, ottimizzati per l'inferenza con IA a elevata produttività e bassa latenza. Inoltre, il GB200 NVL72 utilizza NVLink e raffreddamento a liquido per creare un unico rack massiccio da 72 GPU in grado di superare i colli di bottiglia della comunicazione.

GB200 include un Transformer Engine di seconda generazione più veloce con precisione FP8, che consente un training 4 volte più veloce per modelli linguistici di grandi dimensioni su larga scala. Questa innovazione è completata da NVLink di quinta generazione, che fornisce 1,8 TB/s di interconnessione GPU-GPU, rete InfiniBand e software NVIDIA Magnum IO™.

I rack GB200 NVL72 raffreddati a liquido riducono l'impronta di carbonio e il consumo di energia di un data center. Il raffreddamento a liquido aumenta la densità di calcolo, riduce la quantità di spazio utilizzato e facilita la comunicazione GPU ad alta larghezza di banda e bassa latenza con le architetture di dominio NVLink di grandi dimensioni. Rispetto all'infrastruttura NVIDIA H100 con raffreddamento ad aria, la GB200 offre 25 volte più prestazioni alla stessa potenza, riducendo al contempo il consumo di acqua.

I database, ricoprono ruoli critici nella gestione, nell'elaborazione e nell'analisi di grandi volumi di dati per le imprese. GB200 sfrutta le prestazioni della memoria a banda elevata, NVLink-C2C e motori di decompressione dedicati dell'architettura NVIDIA Blackwell per accelerare le principali query del database di 18 volte rispetto alla CPU e fornire un TCO 5 volte superiore.