NVIDIA Magnum IO

El Subsistema de I/O para el Data Center Moderno y Acelerado por GPU

Maximizar el Almacenamiento en el Data Center y el Rendimiento de I/O en la Red

La nueva unidad de computación es el data center y, en su base, se encuentran las GPU y las redes de NVIDIA. La computación acelerada requiere una entrada/salida (I/O) acelerada para aumentar el rendimiento. NVIDIA® Magnum IO, el subsistema de I/O del data center moderno, es la arquitectura para I/O de data centers inteligentes, asíncronos y paralelos, que maximiza el rendimiento de I/O de red y de almacenamiento para la aceleración de múltiples GPU y múltiples nodos.

Beneficios Principales de Magnum IO

Rendimiento de I/O Optimizado

Omite la CPU para habilitar la I/O directa entre la memoria, la red y el almacenamiento de la GPU, lo que da como resultado un ancho de banda 10veces mayor.

Utilización y Balance del Sistema

Elimina el conflicto en la CPU para crear un sistema acelerado por GPU más equilibrado y proporciona un pico de ancho de banda de I/O con hasta 10veces menos de núcleos de CPU y 30veces menos de utilización de la CPU.

Integración Perfecta

Proporciona una implementación optimizada para las plataformas actuales y futuras, ya sea que las transferencias de datos sean detalladas y sensibles a la latencia, generales y sensibles al ancho de banda o colectivas.

Conjunto de Optimización de Magnum IO

Magnum IO utiliza I/O de almacenamiento, I/O de red, computación en red y administración de I/O para simplificar y acelerar el movimiento, el acceso y la administración de datos en sistemas de múltiples GPU y múltiples nodos. Magnum IO es compatible con las bibliotecas NVIDIA CUDA-X™ y aprovecha al máximo una variedad de topologías del hardware de red y las GPU de NVIDIA para lograr un rendimiento óptimo y baja latencia.

 [Blog del Desarrollador] Magnum IO: Aceleración de IO en el Data Center Moderno

Conjunto de Optimización de Magnum IO

I/O de Almacenamiento

En sistemas de múltiples nodos y múltiples GPU, el rendimiento lento de un solo subproceso y en CPU se encuentran en la ruta crítica de acceso a los datos desde los dispositivos de almacenamiento local o remoto. Con la aceleración de I/O de almacenamiento, la GPU pasa por alto la CPU y la memoria del sistema y accede al almacenamiento remoto a través de 8 NIC de 200 Gb/s. De esta manera, se logra hasta 1.6 Terabits/s de ancho de banda de almacenamiento sin procesar.

Tecnologías Incluidas:

I/O de Red

La aceleración de I/O de red basada en RDMA reduce la sobrecarga de I/O, ya que se pasa por alto la CPU y se logran transferencias directas de datos de GPU a GPU a velocidades de red y de línea de estructura.

Tecnologías Incluidas:

Computación en la Red

La computación en la red ofrece procesamiento dentro de la red para eliminar la latencia que se genera al atravesar los terminales y los saltos en el camino. Las Unidades de Procesamiento de Datos (DPU) permiten la computación acelerada por hardware de red y definida por software. Esto incluye motores de procesamiento de datos preconfigurados y motores programables.

Tecnologías Incluidas:

Administración de I/O

Para optimizar la I/O en la computación, la red y el almacenamiento, los usuarios necesitan técnicas de resolución de problemas profundas y de telemetría avanzada. Las plataformas de administración de Magnum IO permiten a los operadores de data centers industriales y de investigación aprovisionar, monitorear, administrar y mantener la estructura del data center moderno de manera eficiente y preventiva.

Tecnologías Incluidas:

Aceleración de la I/O en Todas las Aplicaciones

Magnum IO interactúa con las bibliotecas de computación de alto rendimiento (HPC) e inteligencia artificial (IA) de NVIDIA CUDA-X para acelerar la I/O en una amplia gama de casos de uso, desde la inteligencia artificial hasta la visualización científica.

  • Análisis de Datos
  • Computación de Alto Rendimiento
  • Deep Learning
Análisis de Datos

Análisis de Datos

Hoy en día, la ciencia de datos y el machine learning (ML) son los segmentos de computación más grandes del mundo. Las mejoras modestas en la precisión de los modelos de ML predictivos generan miles de millones de dólares. Para mejorar la precisión, la biblioteca RAPIDS Accelerator tiene un orden aleatorio de Apache Spark acelerado e incorporado que se basa en UCX. Este orden aleatorio se puede configurar para aprovechar la comunicación de GPU a GPU y las capacidades de RDMA. La plataforma de data centers de NVIDIA está en una posición única para acelerar estas enormes cargas de trabajo mediante un rendimiento y una eficiencia sin precedente, ya que se combina con NVIDIA Mellanox® InfiniBand, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS.

 Adobe Logra una Aceleración 7 Veces Mayor en el Entrenamiento de Modelos con Spark 3.0 en Databricks para Lograr un Ahorro de Costos del 90%

 Con un rendimiento de TPCx-BB 19.5 veces más rápido, UCX y el software de ciencia de datos RAPIDS mejoran en NVIDIA DGX A100

Computación de Alto Rendimiento

Computación de Alto Rendimiento

La HPC es un aspecto básico de la ciencia moderna. Mientras buscan alcanzar los descubrimientos de la próxima generación, los científicos confían en la simulación a fin de comprender mejor las moléculas complejas para descubrir fármacos, la física para detectar nuevas y posibles fuentes de energía y los datos atmosféricos para realizar mejores predicciones y prepararse ante los patrones climáticos extremos. Magnum IO ofrece motores de aceleración a nivel de hardware y descargas inteligentes, como las capacidades RDMA, NVIDIA GPUDirect® y SHARP, al tiempo que refuerza el ancho de banda alto y la latencia ultrabaja de HDR 200 Gb/s InfiniBand. Esto ofrece el mayor rendimiento y las implementaciones de HPC y ML más eficientes a cualquier escala.

Visualización de Volumen Interactiva Más Grande: Simulación de Aterrizaje en Marte de la NASA de 150TB

Deep Learning

Deep Learning

Los modelos de IA continúan aumentando su complejidad a medida que asumen desafíos más importantes, como la IA conversacional y los sistemas de recomendación profunda. Los modelos de IA conversacional como Megatron-BERT de NVIDIA requieren 3000 veces más capacidad de computación para el entrenamiento, en comparación con los modelos de clasificación de imágenes como ResNet-50. Permitir que los investigadores continúen ampliando los límites de lo que es posible con la IA requiere un rendimiento potente y una escalabilidad masiva. La combinación de la red de HDR 200Gb/s InfiniBand y el conjunto de software Magnum IO ofrece una escalabilidad eficiente a miles de clústeres de GPU.

Entrenamiento de Deep Learning en los Data Centers de Facebook: Diseño de Sistemas de Escalabilidad Vertical y Horizontal

Regístrate para recibir noticias y actualizaciones.