Necesidad de Interconexiones Más Rápidas y Escalables

Las crecientes demandas de computación en IA y computación de alto rendimiento (HPC), incluida una clase emergente de modelos de billones de parámetros, están impulsando la necesidad de sistemas de múltiples nodos y múltiples GPU con comunicación fluida y de alta velocidad entre cada GPU. Para construir la plataforma de computación de extremo a extremo más poderosa que pueda alcanzar la velocidad de los negocios, se necesita una interconexión rápida y escalable.

Maximice el Rendimiento del Sistema con NVIDIA NVlink

La cuarta generación de la tecnología NVIDIA® NVLink® proporciona un ancho de banda 1,5 veces mayor y una escalabilidad mejorada para configuraciones de sistemas con múltiples GPU. Una sola GPU NVIDIA H100 Tensor Core admite hasta 18 conexiones NVLink para un ancho de banda total de 900 gigabytes por segundo (GB/s), más de 7 veces el ancho de banda de PCIe Gen5.

Servidores como NVIDIA DGX™ H100 aprovechan esta tecnología para ofrecer una mayor escalabilidad para una formación de deep learning ultrarrápida.

NVIDIA A100 PCIe with NVLink GPU-to-GPU connection

NVIDIA H100 PCIe con conexión NVLink GPU a GPU

NVIDIA A100 with NVLink GPU-to-GPU connections

NVIDIA H100 con conexión NVLink GPU a GPU

Rendimiento de NVLink

NVLink Performance

NVLink en NVIDIA H100 aumenta el ancho de banda de comunicación entre GPU 1,5 veces en comparación con la generación anterior, por lo que los investigadores pueden usar aplicaciones más grandes y sofisticadas para resolver problemas más complejos.

Conecte Completamente las GPU con NVIDIA NVSwitch

La tercera generación de NVIDIA NVSwitch™ se basa en la capacidad de comunicación avanzada de NVLink para ofrecer un mayor ancho de banda y una latencia reducida para cargas de trabajo con uso intensivo de computación. Para permitir operaciones colectivas de alta velocidad, cada NVSwitch tiene 64 puertos NVLink equipados con motores para NVIDIA Scalable Hierarchical Aggregation Reduction Protocol (SHARP)™ para reducciones en la red y aceleración de multidifusión.  

Fully Connect GPUs with NVIDIA NVSwitch

NVSwitch permite que ocho GPU en un sistema NVIDIA DGX H100 cooperen en un clúster con conectividad de ancho de banda completo.

NVLink and NVSwitch Work Together

Cómo Funcionan Juntos NVLink y NVSwitch

NVLink es una interconexión directa de GPU a GPU que escala la entrada/salida (IO) de múltiples GPU dentro del servidor. NVSwitch conecta varios NVLink para proporcionar una comunicación de GPU de todos a todos a la máxima velocidad de NVLink dentro de un solo nodo y entre nodos.

Con la combinación de NVLink y NVSwitch, NVIDIA ganó MLPerf 1.1, el primer punto de referencia de IA de toda la industria.

Vea La Tecnología en Acción 

Ampliación para Entrenar Trillones de Modelos de Parámetros

Con NVSwitch, las conexiones NVLink se pueden extender a través de los nodos para crear un clúster de GPU de varios nodos, de gran ancho de banda y sin problemas, formando efectivamente una GPU del tamaño de un data center. Al agregar un segundo nivel de NVSwitches externamente a los servidores, la red NVLink puede conectar hasta 256 GPU y ofrecer la asombrosa cantidad de 57,6 terabytes por segundo (TB/s) de ancho de banda total, lo que hace posible resolver rápidamente incluso las trabajos más grandes de IA. 

Más Información Sobre NVIDIA H100 
Scale-Up to Train Trillion Parameter Models
NVIDIA NVLink Switch

Switch NVIDIA NVLink

El switch de rack NVIDIA NVLink cuenta con 128 puertos NVLink con una capacidad de conmutación sin bloqueo de 3,2 terabytes por segundo (TB/s). El switch de rack está diseñado para proporcionar un alto ancho de banda y una baja latencia en los sistemas NVIDIA DGX y NVIDIA HGX™ que admiten conectividad NVLink externa de cuarta generación.

Más Información Sobre NVIDIA DGX H100 

Escalado de Empresa a Exaescala

Conexión Completa para un Rendimiento Sin Igual

NVSwitch es la primera arquitectura de switch en el nodo que admite de 8 a 16 GPU completamente conectadas en un solo nodo de servidor. El NVSwitch de tercera generación interconecta cada par de GPU a una increíble velocidad de 900 GB/s. Es compatible con la comunicación completa de todos a todos. Las GPU se pueden utilizar como un único acelerador de alto rendimiento con hasta 15 petaFLOPS de potencia de computación de deep learning.

La Plataforma de IA y HPC Más Potente

NVLink y NVSwitch son componentes esenciales de la solución completa del data cneter de NVIDIA que incorpora hardware, redes, software, bibliotecas y aplicaciones y modelos de IA optimizados del paquete de software NVIDIA AI Enterprise y el catálogo NVIDIA NGC™. La plataforma de HPC e IA de extremo a extremo más potente, permite a los investigadores ofrecer resultados del mundo real e implementar soluciones en producción, impulsando una aceleración sin precedentes en cada escala. 

Especificaciones

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  • Sistema de Switch NVLink

    Sistema de Switch NVLink

  Segunda Generación Tercera Generación Cuarta Generación
Ancho de banda NVLink por GPU 300GB/s 600GB/s 900GB/s
Número máximo de links por GPU 6 12 18
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta™ Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper™
  Primera Generación Segunda Generación Tercera Generación
Número de GPU con conexión directa/nodo Hasta 8 Hasta 8 Hasta 8
Ancho de banda NVSwitch de GPU a GPU 300GB/s 600GB/s 900GB/s
Ancho de banda agregado total 2.4TB/s 4.8TB/s 7.2TB/s
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Volta Arquitectura NVIDIA Ampere Arquitectura NVIDIA Hopper
  Sistema de Switch NVLink
Número de GPU con conexión directa/nodo Up to 256
Ancho de banda NVSwitch de GPU a GPU 900GB/s
Ancho de banda agregado total 57.6TB/s
Reducciones dentro de la red Reducciones SHARP en NVSwitch
Soporte de software clave CUDA®, CUDA-X™, Magnum IO™
Arquitecturas NVIDIA compatibles Arquitectura NVIDIA Hopper™

Especificaciones preliminares, pueden estar sujetas a cambios.

Sumérgete en Profundidad en la Arquitectura NVIDIA Hopper

Leer El Whitepaper
Products
Tecnologías
Software
Recursos