NVLink y NVSwitch

Los elementos fundamentales de la comunicación multi-GPU avanzada

Cómo funcionan NVLink y NVSwitch juntos

NVLink

Tesla V100 with NVLink GPU-to-GPU and GPU-to-CPU Connections

NVSwitch

NVIDIA NVLink Performance Since 2014

NVLink maximiza el rendimiento del sistema

La tecnología NVIDIA NVLink aborda los problemas de interconexión al proporcionar un mayor ancho de banda, más enlaces y una escalabilidad mejorada para configuraciones de sistemas multi-GPU. Una sola GPU NVIDIA Tesla® V100 admite hasta seis conexiones NVLink para un ancho de banda total de 300 gigabytes por segundo (GB/s), 10 veces el ancho de banda de PCIe Gen 3. Servidores como NVIDIA DGX-1TM y DGX-2 aprovechan esta tecnología para brindarle una mayor escalabilidad para una formación ultrarrápida de deep learning. NVLink también admite hasta 8 GPU en una sola máquina virtual con NVIDIA Quadro Virtual Data Center Workstation (vDWS) o el software NVIDIA Virtual Compute Server (vComputeServer). Más información

NVIDIA NVLink Performance Since 2014

Los mayores niveles de aceleración GPU a GPU

Presentada inicialmente con la arquitectura de NVIDIA Pascal, NVLink en las Tesla V100 ha incrementado el índice de señalización de 20 a 25 GB/s en cada dirección. Este enlace de comunicación directa entre dos GPU, mejora la precisión y la convergencia de la informática de alto rendimiento (HPC) y la IA y alcanza velocidades superiores a diez veces más rápidas que PCIe. 

NVLink Connecting Eight Tesla V100 Accelerators in a Hybrid Cube Mesh Topology as Used in the DGX-1V Server

Nuevos niveles de rendimiento

NVLink puede incrementar hasta un 70 por ciento el rendimiento de un servidor configurado de forma idéntica. El incremento considerable de ancho de banda y la latencia reducida dan paso a que cargas de trabajo de deep learning mucho mayores mejoren el rendimiento a medida que siguen creciendo.

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink Delivers Up To 70% Speedup vs PCIe

NVLink: GPU Servers: Dual Xeon Gold 6140@2.30GHz or E5-2698 v4@3.6GHz for PyTorch with 8xV100 PCIe vs 8xV100 NVLink. SW benchmarks: MILC (APEX medium). HOOMD-Blue (microsphere), LAMMPS (LJ 2.5).

NVSwitch

NVSwitch: el NVLink completamente conectado

La rápida adopción del deep learning ha generado la necesidad de una interconexión más rápida y escalable, pues el ancho de banda PCIe a menudo crea un cuello de botella en el nivel de sistemas de multi-GPU.

NVIDIA NVSwitch se basa en la capacidad de comunicación avanzada de NVLink para resolver este problema. Lleva el rendimiento de deep learning al siguiente nivel con un tejido de GPU que permite usar más GPU en un único servidor y conectividad de ancho de banda total entre ellas.

Conexión completa para un rendimiento sin igual

NVSwitch es la primera arquitectura de conmutadores en nodo en admitir 16 GPU totalmente conectadas en un único nodo de servidor que permite la comunicación simultánea entre ocho pares de GPU a la increíble velocidad de 300 GB/s. Estas 16 GPU se pueden usar como acelerador único a gran escala con 0,5 terabytes de espacio de memoria unificada y 2 petaFLOPS de poder de computación de deep learning. Un único sistema HGX-2 o DGX-2 con NVSwitch ofrece hasta 2,7 veces más rendimiento de la aplicación que 2 sistemas HGX-1 o DGX-1 conectados con InfiniBand.

NVSwitch Delivers a >2X Speedup for Deep Learning and HPC

2 servidores HGX-1V con procesador Xeon E5 2698v4 de doble socket, 8 GPU V100. Servidores conectados a través de 4 puertos IB de 100 Gb (se ejecutan en DGX-1) | Servidor HGX-2 con procesador Xeon Platinum 8168 de doble socket, 16 GPU V100, NVSwitch (se ejecuta en DGX-2).

NVIDIA HGX-2

Explora la plataforma de servidor acelerada más potente del mundo para deep learning, aprendizaje automático y HPC