Subsistema de IO para el centro de datos moderno y acelerado por GPU
La nueva unidad de computación es el centro de datos y en su centro están las GPU NVIDIA y las redes NVIDIA. La aceleración computacional requiere entrada y salida (IO) aceleradas para maximizar el rendimiento. NVIDIA Magnum IO™, el subsistema de IO del centro de datos moderno, es la arquitectura de IO de centro de datos paralelos, asincrónicos e inteligentes, con maximización del almacenamiento y el rendimiento de IO de red para la aceleración multi-GPU y multinodo.
Se omite la CPU para permitir la IO directa entre la memoria de la GPU, la red y el almacenamiento, lo que da como resultado un ancho de banda 10 veces superior.
Alivia la contención de la CPU para crear un sistema más equilibrado y acelerado para la GPU que ofrece el máximo ancho de banda de IO, lo que se traduce en hasta 10 veces menos núcleos de CPU y 30 veces menos utilización de la CPU.
Ofrece una implementación optimizada para las plataformas actuales y futuras, ya sea que las transferencias de datos sean específicas y sensibles a la latencia, de grano grueso y sensibles al ancho de banda o colectivas.
Magnum IO utiliza IO de almacenamiento, IO de red, computación en red y gestión de IO para simplificar y acelerar el movimiento de datos, el acceso y la gestión de sistemas multi-GPU y multi-nodo. Magnum IO es compatible con las bibliotecas de NVIDIA CUDA-X™ y aprovecha al máximo la GPU NVIDIA y las topologías de hardware de red NVIDIA para lograr un rendimiento óptimo y una baja latencia.
[Developer Blog] Magnum IO - Accelerating IO in the Modern Data Center
En sistemas multinodo y multi-GPU, el rendimiento lento de la CPU y el único subproceso se encuentra en el camino crítico del acceso a los datos desde los dispositivos de almacenamiento locales o remotos. Con la aceleración de IO de almacenamiento, la GPU elude la CPU y la memoria del sistema, y accede al almacenamiento remoto a través de 8 tarjetas de interfaz de red (NIC) de 200 GB/s, con lo que se consiguen hasta 1,6 Terabits por segundo de ancho de banda de almacenamiento sin procesar.
Tecnologías incluidas:
El tejido de NVIDIA NVLink® y la aceleración de IO de red basada en RDMA reducen la sobrecarga de IO, con lo que se omite la CPU y se habilita la GPU directa con las transferencias de datos en la GPU a velocidades de línea.
La computación en red ofrece un procesamiento dentro de la red, lo que elimina la latencia que se introduce al atravesar las terminales y cualquier salto a lo largo del trayecto. Las unidades de procesamiento de datos (DPU) introducen la computación definida por software y acelerada por hardware de red, que incluye motores de procesamiento de datos preconfigurados y motores programables.
Para ofrecer optimizaciones de IO a través de la computación, la red y el almacenamiento, los usuarios necesitan técnicas avanzadas de telemetría y solución de problemas. Las plataformas de gestión de Magnum IO permiten a los operadores de centros de datos industriales y de investigación aprovisionar, supervisar, gestionar y mantener preventivamente el tejido del centro de datos moderno.
Magnum IO interactúa con las bibliotecas NVIDIA CUDA-X para inteligencia artificial (IA) y computación de alto rendimiento (HPC) que aceleran la IO en una amplia gama de casos de uso, desde la inteligencia artificial a la visualización científica.
Actualmente, la ciencia de datos y el aprendizaje automático (ML) son los mayores segmentos de computación del mundo. Modestas mejoras en la precisión de los modelos predictivos de ML pueden convertirse en miles de millones de dólares en el balance final. Para mejorar la precisión, la biblioteca de RAPIDS Accelerator lleva incorporada una implementación aleatoria de Apache Spark acelerada que se basa en UCX y se puede configurar para aprovechar la comunicación de GPU a GPU y las capacidades de RDMA. Gracias a la combinación de la conexión a red NVIDIA, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS™, la plataforma de centro de datos NVIDIA se encuentra en una posición única para acelerar estas enormes cargas de trabajo con niveles de rendimiento y eficiencia sin precedentes.
Adobe multiplica por siete la aceleración del entrenamiento de modelos con Spark 3.0 en Databricks con un ahorro del 90 % en costes
La HPC es un pilar fundamental de la ciencia moderna. Para hacer descubrimientos de próxima generación, los científicos dependen de la simulación para comprender mejor las moléculas complejas de cara al descubrimiento de fármacos, de la física en busca de fuentes potenciales de energía y de los datos atmosféricos con objeto de predecir y prepararse mejor para patrones climáticos extremos. Magnum IO expone motores de aceleración a nivel de hardware y descargas inteligentes, como RDMA, NVIDIA GPUDirect®y las funciones NVIDIA SHARP™ (Scalable Hierarchical Aggregation and Reduction Protocol), a la vez que refuerza el ancho de banda alto y la latencia ultrabaja de HDR InfiniBand de 200 GB/s. Esto ofrece las implementaciones de HPC y ML de máximo rendimiento y máxima eficiencia a cualquier escala.
La visualización de volúmenes interactiva más grande del mundo: simulación de aterrizaje en Marte de la NASA (150 TB)
La complejidad de los modelos de IA se dispara a medida que estos se enfrentan a desafíos de nivel superior, como la IA conversacional y los sistemas de recomendación profundos. Los modelos de IA conversacional como Megatron-BERT de NVIDIA controlan 3000 veces más potencia de cálculo para entrenar en comparación con los modelos de clasificación de imágenes como ResNet-50. Permitir que los investigadores sigan ampliando los límites de lo que es posible con la inteligencia artificial requiere un rendimiento potente y una enorme escalabilidad. La combinación de redes HDR InfiniBand de 200 GB/s y la pila de software de Magnum IO ofrece escalabilidad eficiente a miles de GPU en un solo clúster.
Entrenamiento de Deep Learning en los centros de datos de Facebook: diseño de sistemas de escalado vertical y ampliación
Suscríbete para recibir noticias y actualizaciones.
Facilita las transferencias de IO directamente a la memoria de la GPU, lo que elimina los costosos cuellos de botella de la ruta de datos de la memoria de la CPU y el sistema. Evita la sobrecarga de la latencia de una copia adicional a través de la memoria del sistema, lo que afecta a las transferencias más pequeñas y reduce el cuello de botella de utilización de CPU al operar con mayor independencia.
MÁS INFORMACIÓN ›
Leer el blog: GPUDirect Storage: ruta directa entre el almacenamiento y la memoria de la GPU
Ver el seminario web: NVIDIA GPUDirect Storage: cómo acelerar la ruta de datos a la GPU
Presenta almacenamiento en red de manera lógica, por ejemplo, NVMe over Fabrics (NVMe-oF), como una unidad NVMe local, lo que permite al sistema de conmutación de host/hipervisor usar un controlador estándar de NVMe en lugar de un protocolo de almacenamiento de red remoto.
Conjunto de bibliotecas y controladores de NIC optimizados para un rápido procesamiento de paquetes en el espacio del usuario, lo que proporciona un entorno de trabajo y una API común para aplicaciones de red de alta velocidad.
Proporciona acceso para que el adaptador de red lea o escriba los búferes de datos de la memoria directamente en los dispositivos del mismo nivel. Permite a las aplicaciones basadas en RDMA usar la potencia de cálculo de dispositivos del mismo nivel sin necesidad de copiar datos a través de la memoria del host.
Entorno de trabajo de comunicación de código abierto y nivel de producción para aplicaciones centradas en datos y de alto rendimiento. Incluye una interfaz de bajo nivel que expone operaciones fundamentales de red compatibles con el hardware subyacente. El paquete incluye: bibliotecas MPI y SHMEM, pruebas de referencia Unified Communication X (UCX), NVIDIA SHARP, KNEM y MPI estándar.
Ofrece primitivas de comunicación compatibles con la topología a través de una estrecha sincronización entre los procesadores de comunicación.
Ofrece una interfaz de programación paralela basada en el estándar OpenSHMEM, que crea un espacio de direcciones global para datos que abarcan la memoria de varias GPU a través de varios servidores.
Leer el blog: Acelerar colectivos basados en equipo NVSHMEM 2.0 con NCCL
Entorno de trabajo de comunicación de código abierto y nivel de producción para aplicaciones centradas en datos y de alto rendimiento. Incluye una interfaz de bajo nivel que expone operaciones fundamentales de red compatibles con el hardware subyacente. También incluye una interfaz de alto nivel para construir protocolos que se encuentran en MPI, OpenSHMEM, PGAS, Spark y otras aplicaciones de alto rendimiento y de deep learning.
La DPU NVIDIA® BlueField® descarga de la CPU las tareas críticas de red, seguridad y almacenamiento y es la mejor solución para afrontar los desafíos de rendimiento, eficiencia de red y ciberseguridad del centro de datos moderno.
La DPU NVIDIA Mellanox BlueField descarga de la CPU las tareas críticas de red, seguridad y almacenamiento y es la mejor solución para afrontar los desafíos de rendimiento, eficiencia de red y ciberseguridad del centro de datos moderno.
Reduce el tiempo de comunicación de MPI y mejora la superposición entre la computación y las comunicaciones. La emplean los adaptadores NVIDIA Mellanox InfiniBand para descargar el procesamiento de mensajes de MPI desde el equipo host a la tarjeta de red, lo que permite una copia cero de los mensajes de MPI.
Mejora el rendimiento de los algoritmos de reducción y agregación de datos, como en MPI, SHMEM, NCCL y otros, al descargar estos algoritmos de la GPU o la CPU a los elementos de conmutación de red y eliminar la necesidad de enviar datos varias veces entre terminales. La integración de SHARP multiplica por cuatro el rendimiento de NCCL y presenta un aumento del rendimiento siete veces mayor en el caso de la latencia de colectivos MPI.
Permite funciones de orquestación de la red, aprovisionamiento, gestión de la configuración, gestión de tareas, visibilidad detallada del estado del tejido, uso del tráfico y administración de soluciones Ethernet.
Ofrece depuración, supervisión, gestión y aprovisionamiento eficiente del tejido en centros de datos para InfiniBand. Admite telemetría de red en tiempo real mediante análisis e inteligencia sobre ciberataques con tecnología de IA.