NVIDIA Magnum IO

El Subsistema de I/O para el Data Center Moderno y Acelerado por GPU

Maximizar el Almacenamiento en el Data Center y el Rendimiento de I/O en la Red

La nueva unidad de computación es el data center y, en su base, se encuentran las GPU y las redes de NVIDIA. La computación acelerada requiere una entrada/salida (I/O) acelerada para aumentar el rendimiento. NVIDIA Magnum IO™, el subsistema de I/O del data center moderno, es la arquitectura para I/O de data centers inteligentes, asíncronos y paralelos, que maximiza el rendimiento de I/O de red y de almacenamiento para la aceleración de múltiples GPU y múltiples nodos.

Beneficios Principales de Magnum IO

Rendimiento de I/O Optimizado

Omite la CPU para habilitar la I/O directa entre la memoria, la red y el almacenamiento de la GPU, lo que da como resultado un ancho de banda 10veces mayor.

Utilización y Balance del Sistema

Elimina el conflicto en la CPU para crear un sistema acelerado por GPU más equilibrado y proporciona un pico de ancho de banda de I/O con hasta 10veces menos de núcleos de CPU y 30veces menos de utilización de la CPU.

Integración Perfecta

Proporciona una implementación optimizada para las plataformas actuales y futuras, ya sea que las transferencias de datos sean detalladas y sensibles a la latencia, generales y sensibles al ancho de banda o colectivas.

Conjunto de Optimización de Magnum IO

Magnum IO utiliza I/O de almacenamiento, I/O de red, computación en red y administración de I/O para simplificar y acelerar el movimiento, el acceso y la administración de datos en sistemas de múltiples GPU y múltiples nodos. Magnum IO es compatible con las bibliotecas NVIDIA CUDA-X™ y aprovecha al máximo una variedad de topologías del hardware de red y las GPU de NVIDIA para lograr un rendimiento óptimo y baja latencia.

 [Blog del Desarrollador] Magnum IO: Aceleración de IO en el Data Center Moderno

Conjunto de Optimización de Magnum IO

I/O de Almacenamiento

En sistemas de múltiples nodos y múltiples GPU, el rendimiento lento de un solo subproceso y en CPU se encuentran en la ruta crítica de acceso a los datos desde los dispositivos de almacenamiento local o remoto. Con la aceleración de I/O de almacenamiento, la GPU pasa por alto la CPU y la memoria del sistema y accede al almacenamiento remoto a través de 8 NIC de 200 Gb/s. De esta manera, se logra hasta 1.6 Terabits/s de ancho de banda de almacenamiento sin procesar.

Tecnologías Incluidas:

Almacenamiento NVIDIA GPUDirect ›
NVIDIA Mellanox NVMe SNAP ›

I/O de Red

La aceleración de I/O de red basada en RDMA reduce la sobrecarga de I/O, ya que se pasa por alto la CPU y se logran transferencias directas de datos de GPU a GPU a velocidades de red y de línea de estructura.

Tecnologías Incluidas:

Kit de Desarrollo de Plano de Datos ›
NVIDIA GPUDirect RDMA ›
NVIDIA Mellanox HPC-X ›
Biblioteca de Comunicación Colectiva de NVIDIA ›
Biblioteca de Memoria Compartida de NVIDIA ›
UCX ›
Conmutador Acelerado y Procesamiento de Paquetes® (ASAP2) ›

Computación en la Red

La computación en la red ofrece procesamiento dentro de la red para eliminar la latencia que se genera al atravesar los terminales y los saltos en el camino. Las Unidades de Procesamiento de Datos (DPU) permiten la computación acelerada por hardware de red y definida por software. Esto incluye motores de procesamiento de datos preconfigurados y motores programables.

Tecnologías Incluidas:

NVIDIA® BlueField DPU® ›
MPI Tag Matching ›
NVIDIA Mellanox SHARP ›

Administración de I/O

Para optimizar la I/O en la computación, la red y el almacenamiento, los usuarios necesitan técnicas de resolución de problemas profundas y de telemetría avanzada. Las plataformas de administración de Magnum IO permiten a los operadores de data centers industriales y de investigación aprovisionar, monitorear, administrar y mantener la estructura del data center moderno de manera eficiente y preventiva.

Tecnologías Incluidas:

NVIDIA Cumulus NetQ ›
NVIDIA Mellanox UFM ›

Aceleración de la I/O en Todas las Aplicaciones

Magnum IO interactúa con las bibliotecas de computación de alto rendimiento (HPC) e inteligencia artificial (IA) de NVIDIA CUDA-X para acelerar la I/O en una amplia gama de casos de uso, desde la inteligencia artificial hasta la visualización científica.

  • Análisis de Datos
  • Computación de Alto Rendimiento
  • Deep Learning
Análisis de Datos

Análisis de Datos

Hoy en día, la ciencia de datos y el machine learning (ML) son los segmentos de computación más grandes del mundo. Las mejoras modestas en la precisión de los modelos de ML predictivos generan miles de millones de dólares. Para mejorar la precisión, la biblioteca RAPIDS Accelerator tiene un orden aleatorio de Apache Spark acelerado e incorporado que se basa en UCX. Este orden aleatorio se puede configurar para aprovechar la comunicación de GPU a GPU y las capacidades de RDMA. La plataforma de data centers de NVIDIA está en una posición única para acelerar estas enormes cargas de trabajo mediante un rendimiento y una eficiencia sin precedente, ya que se combina con NVIDIA Mellanox® InfiniBand, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS™.

 Adobe Logra una Aceleración 7 Veces Mayor en el Entrenamiento de Modelos con Spark 3.0 en Databricks para Lograr un Ahorro de Costos del 90%

 Con un rendimiento de TPCx-BB 19.5 veces más rápido, UCX y el software de ciencia de datos RAPIDS mejoran en NVIDIA DGX™ A100

Computación de Alto Rendimiento

Computación de Alto Rendimiento

La HPC es un aspecto básico de la ciencia moderna. Mientras buscan alcanzar los descubrimientos de la próxima generación, los científicos confían en la simulación a fin de comprender mejor las moléculas complejas para descubrir fármacos, la física para detectar nuevas y posibles fuentes de energía y los datos atmosféricos para realizar mejores predicciones y prepararse ante los patrones climáticos extremos. Magnum IO ofrece motores de aceleración a nivel de hardware y descargas inteligentes, como las capacidades RDMA, NVIDIA GPUDirect® y SHARP, al tiempo que refuerza el ancho de banda alto y la latencia ultrabaja de HDR 200 Gb/s InfiniBand. Esto ofrece el mayor rendimiento y las implementaciones de HPC y ML más eficientes a cualquier escala.

Visualización de Volumen Interactiva Más Grande: Simulación de Aterrizaje en Marte de la NASA de 150TB

Deep Learning

Deep Learning

Los modelos de IA continúan aumentando su complejidad a medida que asumen desafíos más importantes, como la IA conversacional y los sistemas de recomendación profunda. Los modelos de IA conversacional como Megatron-BERT de NVIDIA requieren 3000 veces más capacidad de computación para el entrenamiento, en comparación con los modelos de clasificación de imágenes como ResNet-50. Permitir que los investigadores continúen ampliando los límites de lo que es posible con la IA requiere un rendimiento potente y una escalabilidad masiva. La combinación de la red de HDR 200Gb/s InfiniBand y el conjunto de software Magnum IO ofrece una escalabilidad eficiente a miles de clústeres de GPU.

Entrenamiento de Deep Learning en los Data Centers de Facebook: Diseño de Sistemas de Escalabilidad Vertical y Horizontal

Regístrate para recibir noticias y actualizaciones.

SUSCRIBIRME

OBTENGA LAS ÚLTIMAS NOTICIAS EN MAGNUM IO.

  1. Section
Regístrate para recibir noticias, anuncios y mucho más de NVIDIA.

Almacenamiento NVIDIA GPUDirect (GDS)

Facilita las transferencias de I/O directamente a la memoria de la GPU, eliminando los costosos cuellos de botella de la ruta de datos hacia y desde la CPU/memoria del sistema. Evita la sobrecarga de latencia de una copia adicional a través de la memoria del sistema, lo que afecta a las transferencias más pequeñas y alivia el cuello de botella en la utilización de la CPU al operar con mayor independencia.

APRENDE MÁS › 

  Leer blog: Almacenamiento GPUDirect: Una Ruta Directa Entre el Almacenamiento y la Memoria de la GPU

  Vea Webinar: Almacenamiento NVIDIA GPUDirect: Acelerando la Ruta de Datos a la GPU

Procesamiento Acelerado de Red Definido por Software NVIDIA Mellanox NVMe (SNAP)

Presenta lógicamente el almacenamiento en red, como NVMe over Fabrics (NVMe-oF), como una unidad NVMe local, lo que permite que el sistema operativo/hipervisor del host utilice un controlador NVMe estándar en lugar de un protocolo de almacenamiento de red remoto.

APRENDE MÁS ›

Kit de Desarrollo de Plano de Datos (DPDK)

Conjunto de bibliotecas y controladores NIC optimizados para el procesamiento rápido de paquetes en el espacio del usuario, que proporcionan un marco y una API común para aplicaciones de redes de alta velocidad.

APRENDE MÁS ›

NVIDIA GPUDirect RDMA (GDR)

Proporciona acceso al adaptador de red para leer o escribir búferes de datos de memoria directamente en dispositivos del mismo nivel. Permite que las aplicaciones basadas en RDMA utilicen la potencia informática del dispositivo del mismo nivel sin necesidad de copiar datos a través de la memoria del host.

APRENDE MÁS ›

NVIDIA Mellanox HPC-X®

Framework de código abierto y de grado de producción para aplicaciones centradas en datos y de alto rendimiento. Incluye una interfaz de bajo nivel que expone las operaciones de red fundamentales compatibles con el hardware subyacente. El paquete incluye: bibliotecas MPI y SHMEM, Unified Communication X (UCX), NVIDIA SHARP, KNEM y puntos de referencia MPI estándar.

APRENDE MÁS ›

Biblioteca de Comunicación Colectiva de NVIDIA (NCCL)

Trae primitivas de comunicaciones con reconocimiento de topología a través de una estrecha sincronización entre los procesadores que se comunican.

APRENDE MÁS ›

Biblioteca de Memoria Compartida de NVIDIA (NVSHMEM)™

Ofrece una interfaz de programación paralela basada en el estándar OpenSHMEM, creando un espacio de direcciones global para los datos que abarcan la memoria de múltiples GPU en múltiples servidores.

APRENDE MÁS ›

UCX

Framework de código abierto y de nivel de producción para aplicaciones centradas en datos y de alto rendimiento. Incluye una interfaz de bajo nivel que expone las operaciones de red fundamentales compatibles con el hardware subyacente. También incluye una interfaz de alto nivel para construir protocolos que se encuentran en MPI, OpenSHMEM, PGAS, Spark y otras aplicaciones de alto rendimiento y deep learning.

APRENDE MÁS ›

Conmutador Acelerado y Procesamiento de Paquetes® (ASAP2)

El conjunto de características que aceleran el procesamiento de paquetes y conmutadores. ASAP2 descarga la dirección de datos y la seguridad de la CPU a la red, aumenta la eficiencia, agrega control y los aísla de aplicaciones maliciosas.

APRENDE MÁS ›

Unidad de Procesamiento de Datos (DPU) NVIDIA® BlueField®

La DPU NVIDIA® BlueField® descarga las tareas críticas de red, seguridad y almacenamiento de la CPU, y actúa como la mejor solución para abordar los problemas de rendimiento, eficiencia de la red y ciberseguridad en el data center moderno.

APRENDE MÁS ›

MPI Tag Matching

Reduce el tiempo de comunicación MPI y mejora la superposición entre computación y comunicaciones. Empleado por los adaptadores NVIDIA Mellanox InfiniBand para descargar el procesamiento de mensajes MPI desde la máquina host a la tarjeta de red, lo que permite una copia cero de los mensajes MPI.

MÁS INFORMACIÓN ›

NVIDIA Mellanox SHARP

Mejora el rendimiento de los algoritmos de reducción y agregación de datos, como en MPI, SHMEM, NCCL y otros, al descargar estos algoritmos de la GPU o la CPU a los elementos de conmutación de la red y eliminar la necesidad de enviar datos varias veces entre los puntos finales. . La integración de SHARP aumenta el rendimiento de NCCL en 4veces y demuestra un aumento de rendimiento de 7 vecespara la latencia de colectivos MPI.

APRENDE MÁS ›

NVIDIA Cumulus NetQ

Permite la orquestación de la red, el aprovisionamiento, la gestión de la configuración, la gestión de tareas, la visibilidad en profundidad del estado de la estructura, la utilización del tráfico y la gestión de las soluciones Ethernet.

APRENDE MÁS ›

NVIDIA Mellanox Unified Fabric Manager (UFM)

Proporciona depuración, monitoreo, administración y aprovisionamiento eficiente de fabric en data centers para InfiniBand. Admite telemetría de red en tiempo real con ciberinteligencia y análisis basados en inteligencia artificial.

APRENDE › 

Productos
Tecnologías
Software
Recursos