NVLink y NVSwitch

Los Componentes Básicos de la Comunicación Avanzada de Múltiples GPU

Cómo Trabajan Juntos NVLink y NVSwitch

NVIDIA NVLink

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA NVSwitch

The NVSwitch topology diagram

Maximizando el Rendimiento del Sistema

NVLINK de Tercera Generación

La tecnología NVIDIA NVLink aborda los problemas de interconexión al proporcionar un mayor ancho de banda, más enlaces y una escalabilidad mejorada para configuraciones de sistemas de múltiples GPU. Una sola GPU NVIDIA A100 Tensor Core admite hasta 12 conexiones NVLink de tercera generación para un ancho de banda total de 600 gigabytes por segundo (GB/seg), casi 10 veces el ancho de banda de PCIe Gen 4.

Los servidores como el NVIDIA DGX™ A100 aprovechan esta tecnología para ofrecer una mayor escalabilidad para un entrenamiento de deep learning ultrarrápido.

Rendimiento NVLink

NVLink in NVIDIA A100

NVIDIA NVSwitch

NVSwitch: El NVLink Totalmente Conectado

La rápida adopción del deep learning ha impulsado la necesidad de una interconexión más rápida y escalable, ya que el ancho de banda PCIe a menudo crea un cuello de botella en el nivel del sistema multi-GPU. Para que las cargas de trabajo de deep learning se escalen, se necesita un ancho de banda mucho mayor y una latencia reducida.

NVIDIA NVSwitch se basa en la capacidad de comunicación avanzada de NVLink para resolver este problema. Lleva el rendimiento de deep learning al siguiente nivel con una estructura de GPU que permite más GPU en un solo servidor y conectividad de ancho de banda completo entre ellos. Cada GPU tiene 12 NVLinks a NVSwitch para permitir la comunicación de alta velocidad y total.

La Plataforma de Data Center de IA y HPC de Extremo a Extremo Más Potente

NVLink y NVSwitch son componentes esenciales de la solución completa de data center NVIDIA que incorpora hardware, redes, software, bibliotecas y aplicaciones y modelos de IA optimizados de NGC. La plataforma de IA y HPC de extremo a extremo más potente, permite a los investigadores entregar resultados del mundo real e implementar soluciones en la producción, impulsando una aceleración sin precedentes en todas las escalas.

Conexión Completa para un Rendimiento Incomparable

NVSwitch es la primera arquitectura de conmutador en el nodo que admite de ocho a 16 GPU completamente conectadas en un solo nodo de servidor. El NVSwitch de segunda generación impulsa la comunicación simultánea entre todos los pares de GPU a unos increíbles 600 GB/s. Admite una comunicación completa de todos a todos con direccionamiento directo de memoria de igual a igual de GPU. Estas 16 GPU se pueden usar como un acelerador único de alto rendimiento con espacio de memoria unificado y hasta 10 petaFLOPS de potencia informática de deep learning.

Especificaciones

  • NVIDIA NVLink

    NVIDIA NVLink

  • NVIDIA NVSwitch

    NVIDIA NVSwitch

  Segunda Generación Tercera Generación
Ancho de Banda Total de NVLink 300 GB/s 600 GB/s
Número Máximo de Enlaces por GPU 6 12
Arquitecturas NVIDIA Compatibles NVIDIA Volta Arquitectura NVIDIA Ampere
  Primera Generación Segunda Generación
Número de GPU con Conexión Directa Hasta 16 Hasta 16
Ancho de Banda NVSwitch GPU a GPU 300 GB/s 600 GB/s
Ancho de Banda Agregado Total 4,8 TB/s 9,6 TB/s
Arquitecturas NVIDIA Compatibles NVIDIA Volta Arquitectura NVIDIA Ampere

Empezar

Experimente NVIDIA DGX A100, el sistema universal para infraestructura de inteligencia artificial y el primer sistema de inteligencia artificial del mundo basado en la GPU NVIDIA A100 Tensor Core.