Equipado con GPU NVIDIA A100 Tensor Core, NVLink y NVSwitch
Los conjuntos de datos masivos en el machine learning, los tamaños de modelos explosivos en el deep learning y las simulaciones complejas en la informática de alto rendimiento (HPC) requieren múltiples GPU con interconexiones extremadamente rápidas. NVIDIA HGX™ A100 combina las GPU NVIDIA A100 Tensor Core con las nuevas interconexiones NVIDIA® NVLink® y NVSwitch™ de alta velocidad para crear los servidores más potentes del mundo. Una placa base completamente probada y fácil de implementar, HGX A100 se integra en servidores asociados para proporcionar un rendimiento garantizado.
Aprovechando la potencia de los núcleos Tensor de tercera generación, HGX A100 ofrece hasta 20 veces de aceleración a AI desde el primer momento con Tensor Float 32 (TF32) y una aceleración de 2,5 veces a HPC con FP64. La GPU NVIDIA HGX ™ A100 4- ofrece casi 80 teraFLOPS de FP64 para las cargas de trabajo de HPC más exigentes. NVIDIA HGX ™ A100 8-GPU proporciona 5 petaFLOPS de cómputo de deep learning FP16, mientras que la 16 GPU HGX A100 ofrece la asombrosa cantidad de 10 petaFLOPS, creando la plataforma de servidor de escala acelerada más potente del mundo para IA y HPC.
Entrenamiento BERT
Rendimiento de pre-entrenamiento BERT usando Pytorch, incluyendo (2/3) Fase 1 y (1/3) Fase 2 | Fase 1 Seq Len = 128, Fase 2 Seq Len = 512; V100: servidor NVIDIA DGX-1 ™ con 8x V100 con precisión FP32; A100: Servidor DGX A100 con 8x A100 con precisión TF32.
Los modelos de deep learning están explotando en tamaño y complejidad. Eso significa que los modelos de IA requieren un sistema con grandes cantidades de memoria, poder de cómputo masivo e interconexiones de alta velocidad para ofrecer una escalabilidad eficiente. Con NVIDIA NVSwitch que proporciona comunicaciones GPU de alta velocidad, todo en uno, HGX A100 ofrece la potencia para manejar los modelos de inteligencia artificial más avanzados. Una sola GPU NVIDIA HGX A100 8 ofrece hasta 6 veces más rendimiento de entrenamiento de IA y rendimiento de inferencia de 7 veces AI en el modelo BERT de AI en comparación con los sistemas HGX basados en NVIDIA Volta™ de la generación anterior.
Los modelos de machine learning requieren cargar, transformar y procesar conjuntos de datos extremadamente grandes para obtener información. Con más de medio terabyte de memoria unificada y comunicaciones GPU con NVSwitch, el HGX A100 tiene el poder de cargar y realizar cálculos en grandes conjuntos de datos para obtener información procesable rápidamente.
Rendimiento Para las Principales Aplicaciones de HPC
BERT Gran inferencia | NVIDIA TensorRT™ (TRT) 7.1 | GPU NVIDIA T4 Tensor Core: TRT 7.1, precisión = INT8, tamaño de lote = 256 | V100: TRT 7.1, precisión = FP16, tamaño de lote = 256 | A100 con 1 o 7 instancias MIG de 1g.5gb: tamaño de lote = 94, precisión = INT8 con escasez.
Las aplicaciones HPC requieren potencia informática que puede realizar una enorme cantidad de cálculos por segundo. El aumento de la densidad de cómputo de cada nodo del servidor reduce significativamente la cantidad de servidores necesarios, lo que resulta en un gran ahorro en costos, energía y espacio consumido en el centro de datos. Para las simulaciones de HPC, la multiplicación de matrices de alta dimensión requiere un procesador para utilizar los recursos de otros procesadores para la informática, lo que hace que las GPU conectadas por NVLink sean ideales. Un solo servidor de 4 GPU NVIDIA HGX™ A100 reemplaza a más de 100 servidores basados en CPU que ejecutan las mismas aplicaciones científicas.
La solución completa del data center de NVIDIA incorpora bloques de construcción en hardware, redes, software, bibliotecas y aplicaciones y modelos de IA optimizados de NGC™. Representando la plataforma de IA y HPC de extremo a extremo más potente para data centers, permite a los investigadores entregar resultados del mundo real e implementar soluciones en la producción a escala.
El HGX A100 está disponible en una sola base con 4 u 8 GPU A100. La configuración de 4 GPU está completamente interconectada a NVLink y la configuración de 8 GPU está interconectada a NVSwitch. También se pueden combinar dos bases NVIDIA HGX ™ A100 de 8 GPU utilizando una interconexión NVSwitch para crear un potente nodo único de 16 GPU.
*con escasez
NVIDIA HGX-1 y HGX-2 son arquitecturas de referencia que estandarizan el diseño del data center al acelerar IA y HPC. Construidas con tarjetas NVIDIA SXM2 V100 con tecnologías de interconexión NVIDIA NVLink y NVSwitch, las arquitecturas de referencia HGX tienen un diseño modular que funciona a la perfección en los data center de hiperespacio y escala híbrida para proporcionar hasta 2 petaFLOPS de potencia de procesamiento para una ruta rápida y simple para IA y HPC.
ea esta inmersión técnica profunda para conocer las novedades de la arquitectura NVIDIA Ampere y su implementación en la GPU NVIDIA A100.