NVIDIA Blackwell Architecture

Il Transformer Engine di seconda generazione impiega la tecnologia Blackwell Tensor Core abbinata ai framework innovativi NVIDIA® TensorRT™-LLM e NeMo™ per accelerare l'inferenza e il training dei modelli linguistici di grandi dimensioni (LLM) e dei modelli MoE.

Per accelerare l'interferenza dei modello MoE, i Tensor Core di Blackwell aggiungono nuove precisioni, inclusi i formati di microscaling definiti dalla community, garantendo alta precisione e facilità di sostituzione per precisioni maggiori. Blackwell Transformer Engine utilizza tecniche di scaling granulari denominate micro-tensor scaling, per ottimizzare le prestazioni e l'accuratezza abilitando l'IA in virgola mobile (FP4) a 4 bit. Questo raddoppia le prestazioni e le dimensioni dei modelli di nuova generazione che la memoria può supportare mantenendo l'alta precisione.

La capacità di sfruttare tutto il potenziale del calcolo exascale e dei modelli IA da miliardi di parametri scaturisce dalla necessità di una comunicazione rapida e fluida tra tutte le GPU all'interno di un cluster di server. La quinta generazione di NVIDIA® NVLink® è un'interconnessione scale-up con fino a 576 GPU per raggiungere prestazioni accelerate per modelli IA con milioni di miliardi di parametri.

Il chip switch NVIDIA NVLink consente 130 TB/s di larghezza di banda della GPU in un dominio NVLink a 72 GPU (NVL72) e offre un'efficienza della larghezza di banda 4 volte superiore con il supporto del protocollo NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8. Il chip NVIDIA NVLink Switch supporta cluster oltre a un singolo server alla stessa interconnessione impressionante di 1,8 TB/s. I cluster multi-server con NVLink scalano le comunicazioni tramite GPU in modo da bilanciare le prestazioni di calcolo, così che NVL72 possa supportare un throughput della GPU 9 volte superiore rispetto a un singolo sistema a otto GPU. 

Blackwell aggiunge la resilienza intelligente con un motore RAS dedicato per l'affidabilità, la disponibilità e la manutenzione per identificare precocemente potenziali guasti e ridurre al minimo i tempi di inattività.  Le funzionalità di gestione predittiva basate su NVIDIA AI monitorano continuamente migliaia di punti di dati su hardware e software per verificarne l'integrità generale per prevedere e intercettare le cause di downtime e inefficienza. Questo crea una resilienza intelligente che consente di risparmiare tempo, energia e costi di calcolo.

Il motore NVIDIA RAS fornisce informazioni diagnostiche approfondite in grado di identificare le aree problematiche e pianificare gli interventi di manutenzione. Il motore RAS riduce i tempi di risposta localizzando rapidamente l'origine dei problemi e riduce al minimo i tempi di inattività, facilitando l'efficacia delle risoluzioni.