Tejido de NVLink

Procesamiento avanzado con varias GPU

Tejido de NVLink

UNA INTERCONEXIÓN MÁS RÁPIDA Y ESCALABLE

Los sistemas con varias GPU y CPU son cada vez más habituales en los sectores donde los desarrolladores dependen del paralelismo de las aplicaciones como el cálculo mediante IA. Entre ellos, se incluyen las configuraciones de sistemas de cuatro GPU y ocho GPU que usan una interconexión de sistemas PCIe para resolver problemas de gran magnitud y complejidad. Sin embargo, el ancho de banda PCIe es cada vez más un cuello de botella en el nivel de sistemas de varias GPU, lo que genera la necesidad de una interconexión entre procesadores más rápida y escalable.

Maximizar el rendimiento del sistema

Maximizar el rendimiento del sistema

La tecnología de NVIDIA® NVLink™ resuelve este problema de interconexión al proporcionar un ancho de banda más elevado, más enlaces y una escalabilidad mejorada para las configuraciones de sistemas de varias GPU y varias GPU/CPU. Una única GPU NVIDIA Tesla® V100 admite hasta seis conexiones NVLink y un ancho de banda total de 300 GB/s, diez veces más que el de PCIe 3. Los servidores como el nuevo NVIDIA DGX-1™ aprovechan estas tecnologías para ofrecer una mayor escalabilidad para un entrenamiento de deep learning ultrarrápido.

Nuevos niveles de aceleración GPU a GPU

Presentada inicialmente con la arquitectura de NVIDIA Pascal™, NVLink en las Tesla V100 ha incrementado el índice de señalización de 20 a 25 GB/s en cada dirección. Al igual que en el DGX-1 con Tesla V100, se puede usar para comunicación de GPU a CPU o de GPU a GPU.

Tesla V100 con conexiones NVLink GPU a GPU y GPU a CPU

Tesla V100 con conexiones NVLink GPU a GPU y GPU a CPU 

NVLink conectando ocho aceleradores Tesla V100 en una topología de malla de cubo híbrida, como se usa en el servidor DGX-1V

NVLink conectando ocho aceleradores Tesla V100 en una topología de malla de cubo híbrida, como se usa en el servidor DGX-1V

Nuevos niveles de rendimiento

Nuevos niveles de rendimiento

NVIDIA NVLink puede incrementar hasta 46% el rendimiento de un servidor configurado idénticamente. El incremento considerable de ancho de banda y la latencia reducida dan paso a que cargas de trabajo de deep learning mucho mayores mejoren el rendimiento a medida que siguen creciendo.

NVSwitch: conexión total de NVLink

El rápido crecimiento de las cargas de trabajo de deep learning ha generado la necesidad de una interconexión más rápida y escalable, pues el ancho de banda PCIe es cada vez más un cuello de botella en el nivel de sistemas de varias GPU.

NVLink supone un gran avance para habilitar ocho GPU en un único servidor y acelerar el rendimiento más allá del PCIe. Pero, para llevar el rendimiento de deep learning al siguiente nivel, se necesita un tejido de GPU que permita usar más GPU en un único servidor, así como conectividad de ancho de banda total entre ellas.

NVIDIA NVSwitch es la primera arquitectura de conmutadores en nodo en admitir 16 GPU totalmente conectadas en un único nodo de servidor y permitir la comunicación simultánea entre ocho pares de GPU a la increíble velocidad de 300 GB/s cada uno. Estas 16 GPU se pueden usar como acelerador único a gran escala con 0,5 terabytes de espacio de memoria unificada y 2 petaflops de poder de computación de deep learning.

Informe técnico de NVSwitch
Informe técnico de NVSwitch
Gráfica de aceleración de NVSwitch

* IFS de ECMWF: Integrated Forecasting System (IFS) es un modelo numérico de predicción meteorológica mundial desarrollado por el Centro Europeo de Previsiones Meteorológicas a Medio Plazo (ECMWF) con sede en Reading, Reino Unido. ECMWF es una organización intergubernamental independiente con apoyo de la mayoría de los países europeos y dirige uno de los mayores centros de superordenadores de Europa para realizar actualizaciones constantes de las previsiones meteorológicas mundiales. La prueba de referencia de la miniaplicación de IFS se centra en el trabajo sobre una transformación de armónicos esféricos que representa una importante carga computacional del modelo completo. La aceleración de la prueba de referencia mostrada es mejor que la del modelo IFS completo, dado que la prueba amplifica las fases de transformación del algoritmo (por el diseño). Sin embargo, esta prueba de referencia manifiesta que los métodos extremadamente efectivos y demostrados de ECMWF a la hora de proporcionar las mejores predicciones siguen siendo válidos en servidores equipados con NVSwitch como DGX-2 de NVIDIA, ya son una muy buena solución al problema.

* Mixture of Experts (MoE): basado en una red publicada por Google en la página de GitHub Tensor2Tensor que usa el modelo del transformador con capas MoE. Cada capa MoE está formada por 128 expertos y, a su vez, cada uno es una red neuronal profunda (DNN) prealimentada. Cada experto se especializa en un dominio diferente del conocimiento y están distribuidos en diferentes GPU, lo que crea un tráfico entre todos considerable debido a las comunicaciones entre las capas de red del transformador y las capas MoE. El conjunto de datos de entrenamiento utilizado es la “prueba de referencia de mil millones de palabras para el modelado del lenguaje”, según Google. Las operaciones de entrenamiento usan GPU Volta Tensor Core y se ejecutan durante 45 000 intervalos para alcanzar una perplejidad igual a 34. Esta carga de trabajo usa un tamaño de lote de 8192 por GPU.

Productos
Tecnologías
Recursos