NVLink y NVSwitch

Los elementos fundamentales de la comunicación multi-GPU avanzada

La necesidad de interconexiones más rápidas y escalables

Cada vez más desarrolladores de todos los sectores confían en el cálculo paralelo para aplicaciones como la IA, lo que impulsa la necesidad de sistemas multi-GPU. Pero a pesar de que las configuraciones multiprocesador con PCIe son la elección estándar para la resolución de problemas grandes y complejos, el ancho de banda de PCIe a menudo crea un cuello de botella. Lo que se necesita es una interconexión multiprocesador más rápida y escalable.

Cómo funcionan NVLink y NVSwitch juntos

Presentación de NVIDIA® NVLinkTM y NVIDIA NVSwitchTM NVLink es una interconexión directa de GPU a GPU de alta velocidad. NVSwitch lleva la interconectividad al siguiente nivel al incorporar varios NVLinks para proporcionar comunicación GPU entre todos los componentes de un mismo nodo como NVIDIA HGX-2™. La combinación de NVLink y NVSwitch permitió a NVIDIA ganar MLPerf, el primer punto de referencia de IA del sector.

NVLink

Tesla V100 with NVLink GPU-to-GPU and GPU-to-CPU Connections

Tesla V100 con conexiones de GPU a GPU NVLink.

NVSwitch

NVIDIA NVLink Performance Since 2014

Comunicación entre todos los componentes de 16 GPU

NVLink

NVLink maximiza el rendimiento del sistema

La tecnología NVIDIA NVLink aborda los problemas de interconexión al proporcionar un mayor ancho de banda, más enlaces y una escalabilidad mejorada para configuraciones de sistemas multi-GPU. Una sola GPU NVIDIA Tesla® V100 admite hasta seis conexiones NVLink para un ancho de banda total de 300 gigabytes por segundo (GB/s), 10 veces el ancho de banda de PCIe Gen 3. Servidores como NVIDIA DGX-1TM y DGX-2 aprovechan esta tecnología para brindarle una mayor escalabilidad para una formación ultrarrápida de deep learning. NVLink también admite hasta 8 GPU en una sola máquina virtual con NVIDIA Quadro Virtual Data Center Workstation (vDWS) o el software NVIDIA Virtual Compute Server (vComputeServer). Más información

NVIDIA NVLink Performance Since 2014

Los mayores niveles de aceleración GPU a GPU

Presentada inicialmente con la arquitectura de NVIDIA Pascal™, NVLink en las Tesla V100 ha incrementado el índice de señalización de 20 a 25 GB/s en cada dirección. Este enlace de comunicación directa entre dos GPU, mejora la precisión y la convergencia de la informática de alto rendimiento (HPC) y la IA y alcanza velocidades superiores a diez veces más rápidas que PCIe. 

NVLink Connecting Eight Tesla V100 Accelerators in a Hybrid Cube Mesh Topology as Used in the DGX-1V Server

Nuevos niveles de rendimiento

NVLink puede incrementar hasta un 70 por ciento el rendimiento de un servidor configurado de forma idéntica. El incremento considerable de ancho de banda y la latencia reducida dan paso a que cargas de trabajo de deep learning mucho mayores mejoren el rendimiento a medida que siguen creciendo.

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink: GPU Servers: Dual Xeon Gold 6140@2.30GHz or E5-2698 v4@3.6GHz for PyTorch with 8xV100 PCIe vs 8xV100 NVLink. SW benchmarks: MILC (APEX medium). HOOMD-Blue (microsphere), LAMMPS (LJ 2.5).

NVSwitch

NVSwitch: el NVLink completamente conectado

La rápida adopción del deep learning ha generado la necesidad de una interconexión más rápida y escalable, pues el ancho de banda PCIe a menudo crea un cuello de botella en el nivel de sistemas de multi-GPU.

NVIDIA NVSwitch se basa en la capacidad de comunicación avanzada de NVLink para resolver este problema. Lleva el rendimiento de deep learning al siguiente nivel con un tejido de GPU que permite usar más GPU en un único servidor y conectividad de ancho de banda total entre ellas.

Conexión completa para un rendimiento sin igual

NVSwitch es la primera arquitectura de conmutadores en nodo en admitir 16 GPU totalmente conectadas en un único nodo de servidor que permite la comunicación simultánea entre ocho pares de GPU a la increíble velocidad de 300 GB/s. Estas 16 GPU se pueden usar como acelerador único a gran escala con 0,5 terabytes de espacio de memoria unificada y 2 petaFLOPS de poder de computación de deep learning. Un único sistema HGX-2 o DGX-2 con NVSwitch ofrece hasta 2,7 veces más rendimiento de la aplicación que 2 sistemas HGX-1 o DGX-1 conectados con InfiniBand.

Descargar: Descripción técnica de NVSwitch

NVSwitch Delivers a >2X Speedup for Deep Learning and HPC

2 servidores HGX-1V con procesador Xeon E5 2698v4 de doble socket, 8 GPU V100. Servidores conectados a través de 4 puertos IB de 100 Gb (se ejecutan en DGX-1) | Servidor HGX-2 con procesador Xeon Platinum 8168 de doble socket, 16 GPU V100, NVSwitch (se ejecuta en DGX-2).

   IFS del ECWMF: el Sistema Integrado de Pronóstico (IFS) es un modelo global de predicción meteorológica numérica desarrollado por el Centro Europeo de Previsiones Meteorológicas a Medio Plazo (ECMWF, por sus siglas en inglés) con sede en Reading, Reino Unido. ECMWF es una organización intergubernamental independiente respaldada por la mayoría de las naciones de Europa y opera uno de los mayores centros de superordenadores de Europa para actualizaciones frecuentes de las previsiones meteorológicas mundiales. El punto de referencia de la miniaplicación IFS centra su trabajo en una transformación de armónicos esféricos que representa una carga computacional significativa del modelo completo. Las aceleraciones de referencia que se muestran aquí son mejores que las del modelo IFS completo, ya que el punto de referencia amplifica las etapas de transformación del algoritmo (por diseño). Sin embargo, este punto de referencia demuestra que los métodos extremadamente eficaces y probados de ECMWF para proporcionar predicciones líderes en el mundo siguen siendo válidos en servidores equipados con NVSwitch como NVIDIA DGX-2, ya que son una buena opción para resolver el problema.

   Mixture of Experts (MoE): Basado en una red publicada por Google en la página de GitHub Tensor2 Tensor, que usa el modelo del transformador con capas MoE. Cada capa MoE está formada por 128 expertos y, a su vez, cada uno es una red neuronal profunda (DNN) prealimentada. Cada experto se especializa en un dominio diferente del conocimiento y están distribuidos en diferentes GPU, lo que crea un tráfico entre todos considerable debido a las comunicaciones entre las capas de red del transformador y las capas MoE. El conjunto de datos de entrenamiento utilizado es la "prueba de referencia de mil millones de palabras para el modelado del lenguaje", según Google. Las operaciones de entrenamiento utilizan los núcleos NVIDIA Volta Tensor y se ejecutan durante 45 000 intervalos para alcanzar una perplejidad igual a 34. Esta carga de trabajo utiliza un tamaño de lote de 8192 por GPU.

NVIDIA HGX-2

Explora la plataforma de servidor acelerada más potente del mundo para deep learning, aprendizaje automático y HPC

MÁS INFORMACIÓN
Productos
Tecnologías
Recursos