Architettura NVIDIA Blackwell

Oltre a supportare la tecnologia Transformer Engine che accelera il training con precisioni FP8 e FP16, Blackwell introduce il nuovo Generative AI Engine. Il Generative AI Engine utilizza la tecnologia personalizzata Blackwell Tensor Core per accelerare l'inferenza per l'IA generativa e i modelli linguistici di grandi dimensioni (LLM) con nuovi formati di precisione, inclusi i formati di microscaling definiti dalla community (MX). I formati MXFP4, MXFP6, MXFP8 e MXINT8 di Generative AI Engine mettono il turbo agli LLM moderni, grazie alle prestazioni migliorate dei piccoli modelli a ingombro ridotto e la maggiore produttività rispetto alle precisioni FP8 e FP16.

La capacità di sfruttare tutto il potenziale del calcolo exascale e dei modelli IA da miliardi di parametri scaturisce dalla necessità di una comunicazione rapida e fluida tra tutte le GPU all'interno di un cluster di server. La quinta generazione di NVIDIA® NVLink® è un'interconnessione scale-up che libera prestazioni accelerate per modelli IA con parametri nell'ordine di grandezza dei miliardi di miliardi. 

La quarta generazione di NVIDIA NVSwitch™ consente 130 TB/s di larghezza di banda della GPU in un dominio NVLink a 72 GPU (NVL72) e offre un'efficienza della larghezza di banda 4 volte superiore con il supporto del protocollo NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8. Utilizzando NVSwitch, il sistema NVIDIA NVLink Switch supporta cluster oltre a un singolo server alla stessa interconnessione impressionante di 1,8 TB/s. I cluster multi-server con NVLink scalano le comunicazioni tramite GPU in modo da bilanciare le prestazioni di calcolo, così che NVL72 possa supportare un throughput della GPU 9 volte superiore rispetto a un singolo sistema a otto GPU. 

Blackwell aggiunge la resilienza intelligente con un motore RAS dedicato per l'affidabilità, la disponibilità e la manutenzione per identificare precocemente potenziali guasti e ridurre al minimo i tempi di inattività. Le funzionalità di gestione predittiva basate su NVIDIA AI monitorano continuamente migliaia di punti di dati su hardware e software per verificarne l'integrità generale per prevedere e intercettare le cause di downtime e inefficienza. Questo crea una resilienza intelligente che consente di risparmiare tempo, energia e costi di calcolo.

Il motore NVIDIA RAS fornisce informazioni diagnostiche approfondite in grado di identificare le aree problematiche e pianificare gli interventi di manutenzione. Il motore RAS riduce i tempi di risposta localizzando rapidamente l'origine dei problemi e riduce al minimo i tempi di inattività, facilitando l'efficacia delle risoluzioni.