El Subsistema de I/O para el Data Center Moderno y Acelerado por GPU
La nueva unidad de computación es el data center y, en su base, se encuentran las GPU y las redes de NVIDIA. La computación acelerada requiere una entrada/salida (I/O) acelerada para aumentar el rendimiento. NVIDIA Magnum IO™, el subsistema de I/O del data center moderno, es la arquitectura para I/O de data centers inteligentes, asíncronos y paralelos, que maximiza el rendimiento de I/O de red y de almacenamiento para la aceleración de múltiples GPU y múltiples nodos.
Omite la CPU para habilitar la I/O directa entre la memoria, la red y el almacenamiento de la GPU, lo que da como resultado un ancho de banda 10veces mayor.
Elimina el conflicto en la CPU para crear un sistema acelerado por GPU más equilibrado y proporciona un pico de ancho de banda de I/O con hasta 10veces menos de núcleos de CPU y 30veces menos de utilización de la CPU.
Proporciona una implementación optimizada para las plataformas actuales y futuras, ya sea que las transferencias de datos sean detalladas y sensibles a la latencia, generales y sensibles al ancho de banda o colectivas.
Magnum IO utiliza I/O de almacenamiento, I/O de red, computación en red y administración de I/O para simplificar y acelerar el movimiento, el acceso y la administración de datos en sistemas de múltiples GPU y múltiples nodos. Magnum IO es compatible con las bibliotecas NVIDIA CUDA-X™ y aprovecha al máximo una variedad de topologías del hardware de red y las GPU de NVIDIA para lograr un rendimiento óptimo y baja latencia.
[Blog del Desarrollador] Magnum IO: Aceleración de IO en el Data Center Moderno
En sistemas de múltiples nodos y múltiples GPU, el rendimiento lento de un solo subproceso y en CPU se encuentran en la ruta crítica de acceso a los datos desde los dispositivos de almacenamiento local o remoto. Con la aceleración de I/O de almacenamiento, la GPU pasa por alto la CPU y la memoria del sistema y accede al almacenamiento remoto a través de 8 NIC de 200 Gb/s. De esta manera, se logra hasta 1.6 Terabits/s de ancho de banda de almacenamiento sin procesar.
Tecnologías Incluidas:
La aceleración de I/O de red basada en RDMA reduce la sobrecarga de I/O, ya que se pasa por alto la CPU y se logran transferencias directas de datos de GPU a GPU a velocidades de red y de línea de estructura.
La computación en la red ofrece procesamiento dentro de la red para eliminar la latencia que se genera al atravesar los terminales y los saltos en el camino. Las Unidades de Procesamiento de Datos (DPU) permiten la computación acelerada por hardware de red y definida por software. Esto incluye motores de procesamiento de datos preconfigurados y motores programables.
Para optimizar la I/O en la computación, la red y el almacenamiento, los usuarios necesitan técnicas de resolución de problemas profundas y de telemetría avanzada. Las plataformas de administración de Magnum IO permiten a los operadores de data centers industriales y de investigación aprovisionar, monitorear, administrar y mantener la estructura del data center moderno de manera eficiente y preventiva.
Magnum IO interactúa con las bibliotecas de computación de alto rendimiento (HPC) e inteligencia artificial (IA) de NVIDIA CUDA-X para acelerar la I/O en una amplia gama de casos de uso, desde la inteligencia artificial hasta la visualización científica.
Hoy en día, la ciencia de datos y el machine learning (ML) son los segmentos de computación más grandes del mundo. Las mejoras modestas en la precisión de los modelos de ML predictivos generan miles de millones de dólares. Para mejorar la precisión, la biblioteca RAPIDS Accelerator tiene un orden aleatorio de Apache Spark acelerado e incorporado que se basa en UCX. Este orden aleatorio se puede configurar para aprovechar la comunicación de GPU a GPU y las capacidades de RDMA. La plataforma de data centers de NVIDIA está en una posición única para acelerar estas enormes cargas de trabajo mediante un rendimiento y una eficiencia sin precedente, ya que se combina con NVIDIA Mellanox® InfiniBand, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS™.
Adobe Logra una Aceleración 7 Veces Mayor en el Entrenamiento de Modelos con Spark 3.0 en Databricks para Lograr un Ahorro de Costos del 90%
La HPC es un aspecto básico de la ciencia moderna. Mientras buscan alcanzar los descubrimientos de la próxima generación, los científicos confían en la simulación a fin de comprender mejor las moléculas complejas para descubrir fármacos, la física para detectar nuevas y posibles fuentes de energía y los datos atmosféricos para realizar mejores predicciones y prepararse ante los patrones climáticos extremos. Magnum IO ofrece motores de aceleración a nivel de hardware y descargas inteligentes, como las capacidades RDMA, NVIDIA GPUDirect® y SHARP, al tiempo que refuerza el ancho de banda alto y la latencia ultrabaja de HDR 200 Gb/s InfiniBand. Esto ofrece el mayor rendimiento y las implementaciones de HPC y ML más eficientes a cualquier escala.
Visualización de Volumen Interactiva Más Grande: Simulación de Aterrizaje en Marte de la NASA de 150TB
Los modelos de IA continúan aumentando su complejidad a medida que asumen desafíos más importantes, como la IA conversacional y los sistemas de recomendación profunda. Los modelos de IA conversacional como Megatron-BERT de NVIDIA requieren 3000 veces más capacidad de computación para el entrenamiento, en comparación con los modelos de clasificación de imágenes como ResNet-50. Permitir que los investigadores continúen ampliando los límites de lo que es posible con la IA requiere un rendimiento potente y una escalabilidad masiva. La combinación de la red de HDR 200Gb/s InfiniBand y el conjunto de software Magnum IO ofrece una escalabilidad eficiente a miles de clústeres de GPU.
Entrenamiento de Deep Learning en los Data Centers de Facebook: Diseño de Sistemas de Escalabilidad Vertical y Horizontal
Regístrate para recibir noticias y actualizaciones.
Facilita las transferencias de I/O directamente a la memoria de la GPU, eliminando los costosos cuellos de botella de la ruta de datos hacia y desde la CPU/memoria del sistema. Evita la sobrecarga de latencia de una copia adicional a través de la memoria del sistema, lo que afecta a las transferencias más pequeñas y alivia el cuello de botella en la utilización de la CPU al operar con mayor independencia.
APRENDE MÁS ›
Leer blog: Almacenamiento GPUDirect: Una Ruta Directa Entre el Almacenamiento y la Memoria de la GPU
Vea Webinar: Almacenamiento NVIDIA GPUDirect: Acelerando la Ruta de Datos a la GPU
Presenta lógicamente el almacenamiento en red, como NVMe over Fabrics (NVMe-oF), como una unidad NVMe local, lo que permite que el sistema operativo/hipervisor del host utilice un controlador NVMe estándar en lugar de un protocolo de almacenamiento de red remoto.
Conjunto de bibliotecas y controladores NIC optimizados para el procesamiento rápido de paquetes en el espacio del usuario, que proporcionan un marco y una API común para aplicaciones de redes de alta velocidad.
Proporciona acceso al adaptador de red para leer o escribir búferes de datos de memoria directamente en dispositivos del mismo nivel. Permite que las aplicaciones basadas en RDMA utilicen la potencia informática del dispositivo del mismo nivel sin necesidad de copiar datos a través de la memoria del host.
Framework de código abierto y de grado de producción para aplicaciones centradas en datos y de alto rendimiento. Incluye una interfaz de bajo nivel que expone las operaciones de red fundamentales compatibles con el hardware subyacente. El paquete incluye: bibliotecas MPI y SHMEM, Unified Communication X (UCX), NVIDIA SHARP, KNEM y puntos de referencia MPI estándar.
Trae primitivas de comunicaciones con reconocimiento de topología a través de una estrecha sincronización entre los procesadores que se comunican.
Ofrece una interfaz de programación paralela basada en el estándar OpenSHMEM, creando un espacio de direcciones global para los datos que abarcan la memoria de múltiples GPU en múltiples servidores.
Leer Blog: Aceleración de Colectivos Basados en Equipos NVSHMEM 2.0 Mediante NCCL
Framework de código abierto y de nivel de producción para aplicaciones centradas en datos y de alto rendimiento. Incluye una interfaz de bajo nivel que expone las operaciones de red fundamentales compatibles con el hardware subyacente. También incluye una interfaz de alto nivel para construir protocolos que se encuentran en MPI, OpenSHMEM, PGAS, Spark y otras aplicaciones de alto rendimiento y deep learning.
El conjunto de características que aceleran el procesamiento de paquetes y conmutadores. ASAP2 descarga la dirección de datos y la seguridad de la CPU a la red, aumenta la eficiencia, agrega control y los aísla de aplicaciones maliciosas.
La DPU NVIDIA® BlueField® descarga las tareas críticas de red, seguridad y almacenamiento de la CPU, y actúa como la mejor solución para abordar los problemas de rendimiento, eficiencia de la red y ciberseguridad en el data center moderno.
Reduce el tiempo de comunicación MPI y mejora la superposición entre computación y comunicaciones. Empleado por los adaptadores NVIDIA Mellanox InfiniBand para descargar el procesamiento de mensajes MPI desde la máquina host a la tarjeta de red, lo que permite una copia cero de los mensajes MPI.
MÁS INFORMACIÓN ›
Mejora el rendimiento de los algoritmos de reducción y agregación de datos, como en MPI, SHMEM, NCCL y otros, al descargar estos algoritmos de la GPU o la CPU a los elementos de conmutación de la red y eliminar la necesidad de enviar datos varias veces entre los puntos finales. . La integración de SHARP aumenta el rendimiento de NCCL en 4veces y demuestra un aumento de rendimiento de 7 vecespara la latencia de colectivos MPI.
Permite la orquestación de la red, el aprovisionamiento, la gestión de la configuración, la gestión de tareas, la visibilidad en profundidad del estado de la estructura, la utilización del tráfico y la gestión de las soluciones Ethernet.
Proporciona depuración, monitoreo, administración y aprovisionamiento eficiente de fabric en data centers para InfiniBand. Admite telemetría de red en tiempo real con ciberinteligencia y análisis basados en inteligencia artificial.
APRENDE ›