NVLink y NVSwitch

Los elementos fundamentales de la comunicación multi-GPU avanzada

 

Cómo funcionan NVLink y NVSwitch juntos

NVIDIA NVLink

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

Maximizar el rendimiento del sistema

NVLINK de tercera generación

La tecnología NVIDIA NVLink aborda los problemas de interconexión al proporcionar un mayor ancho de banda, más enlaces y una escalabilidad mejorada para configuraciones de sistemas multi-GPU. Una sola GPU NVIDIA A100 Tensor Core admite hasta 12 conexiones NVLink de tercera generación para un ancho de banda total de 600 gigabytes por segundo (GB/s), 10 veces al ancho de banda de PCIe Gen 4.

NVLink en A100 ha aumentado el número de enlaces de 6 a 12. Este vínculo de comunicación directa entre dos GPU mejora la precisión y la convergencia de HPC e IA. 

Los servidores como NVIDIA DGX™ aprovechas esta tecnología para ofrecer una mayor escalabilidad para un entrenamiento de aprendizaje profundo ultrarrápido.

Rendimiento NVLink

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch: NVLink totalmente conectado

La rápida adopción del aprendizaje profundo ha generado la necesidad de una interconexión más rápida y escalable, ya que el ancho de banda de PCIe crea con frecuencia un atasco en el nivel de sistemas de multi-GPU. Para que las cargas de trabajo de aprendizaje profundo se escalen, se necesita un ancho de banda considerablemente mayor y una latencia reducida.

NVIDIA NVSwitch se basa en la capacidad de comunicación avanzada de NVLink para resolver este problema. Lleva el rendimiento de aprendizaje profundo al siguiente nivel con un tejido de GPU que permite usar más GPU en un único servidor y conectividad de ancho de banda total entre ellas. Cada GPU tiene 12 NVLinks a NVSwitch para permitir la comunicación de alta velocidad y entre todos los componentes de un mismo nodo.

La plataforma de centro de datos de IA y HPC integral más potente

NVLink y NVSwitch son componentes esenciales de la pila completa de soluciones de centros de datos NVIDIA que incorpora hardware, redes, software, bibliotecas y modelos y aplicaciones de IA optimizadas de NGC™. La plataforma de IA y HPC integral más potente, permite a los investigadores ofrecer resultados del mundo real e implementar soluciones en producción a escala, impulsando una aceleración sin precedentes a todas las escalas.

Conexión completa para un rendimiento sin igual

NVSwitch es la primera arquitectura de conmutador en el nodo que admite de 8 a 16 GPU totalmente conectadas en un único nodo de servidor. La segunda generación de NVSwitch impulsa la comunicación simultánea entre todos los pares de GPU a una increíble velocidad de 600 GB/s. Es compatible con la comunicación entre todos los componentes de un mismo nodo con el direccionamiento directo de memoria punto a punto de GPU. Estas 16 GPU pueden usarse como un acelerador único a gran escala con espacio de memoria unificada y hasta 5 petaFLOPS de potencia de computación de aprendizaje profundo.

Especificaciones

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  Segunda generación Tercera generación
Ancho de banda NVLink total 300 GByte/s 600 Gyte/s
Número máximo de enlaces por GPU 6 12
Arquitecturas NVIDIA compatibles NVIDIA Volta Arquitectura NVIDIA Ampere
  NVSwitch con NVLink de segunda generación NVSwitch con NVLink de tercera generación
Cantidad de GPU con conexión directa Hasta 16 Hasta 16
Ancho de banda de GPU a GPU de NVSwitch 300 GB/s 600 GB/s
Ancho de banda agregado total 4,8 TB/s 9,6 TB/s
Arquitecturas NVIDIA compatibles NVIDIA Volta Arquitectura NVIDIA Ampere

Empezar

Experimenta NVIDIA DGX A100, el sistema universal para la infraestructura de IA y el primer sistema de IA del mundo basado en la GPU NVIDIA A100 Tensor Core.