Plateforme d’accélération E/S pour les Data Centers
À mesure qu’elles affinent leurs données, les entreprises deviennent de véritables fabricants d’intelligence. Leurs Data Centers, qui exploitent la puissance des GPU pour accélérer les calculs informatiques de manière significative, se transforment en usines d’IA. Le calcul accéléré par GPU requiert néanmoins des capacités avancées d’entrée/sortie (E/S) pour fournir le plus haut niveau de performance. NVIDIA Magnum IO™ est une architecture dédiée aux communications parallèles et intelligentes sur Data Center. Elle optimise le stockage, la mise en réseau et les communications multi-GPU et multi-nœuds pour les applications les plus importantes au monde qui s’appuient sur des modèles de langage complexes, des systèmes de recommandation, l’imagerie numérique, la simulation et la recherche scientifique.
La technologie NVIDIA Magnum IO s’appuie sur des modules logiciels pour le stockage, la mise en réseau, le calcul sur le réseau et la gestion des communications E/S pour simplifier et accélérer les transferts, l’accès et la gestion des données sur les systèmes multi-GPU et multi-nœuds. Magnum IO, qui prend en charge les bibliothèques NVIDIA CUDA-X™, exploite le plein potentiel des GPU et des topologies matérielles de mise en réseau de NVIDIA pour fournir un rendement optimal et une latence réduite.
[Blog pour les développeurs] Magnum IO - Accélération des performances d’E/S des Data Centers modernes
Dans les systèmes multi-GPU à nœuds multiples, le traitement CPU à thread unique peut impacter de manière critique l’accès aux données sur les périphériques de stockage locaux ou distants. Grâce à l’accélération des performances d’E/S pour le stockage, le GPU peut contourner le CPU et la mémoire système pour accéder à des capacités avancées de stockage via huit cartes d’interface réseau à 200 Go/s, offrant ainsi une bande passante brute de 1,6 To/s pour le stockage.
Technologies incluses :
NVIDIA NVLink®, NVIDIA Quantum InfiniBand, les réseaux Ethernet et l’accélération de l’accès direct à la mémoire distante (RDMA) permettent de réduire la charge des communications E/S en contournant le CPU et en permettant un transfert direct des données vers les GPU à un débit maximal.
La fonctionnalité de calcul sur le réseau assure un traitement optimal des données au sein du réseau, ce qui réduit la latence introduite par le transfert des données jusqu’aux points de terminaison. Nos processeurs de traitement des données (DPU), qui mettent en œuvre un processus de calcul défini par logiciel et accéléré matériellement, vous fournissent des moteurs préconfigurés pour le traitement des données ainsi que des moteurs librement programmables.
Pour pouvoir bénéficier d’optimisations E/S relatives au calcul, au réseau et au stockage, les utilisateurs requièrent des techniques avancées de télémétrie et de dépannage. Les plateformes de gestion de Magnum IO permettent aux chercheurs et aux opérateurs de Data Center d’approvisionner, de surveiller, de superviser et de gérer de manière préventive la structure centrale des Data Centers modernes.
La technologie NVIDIA Magnum IO communique efficacement avec les bibliothèques de NVIDIA pour l’intelligence artificielle (IA) et le calcul haute performance (HPC) afin d'accélérer les communications E/S dans de nombreux cas d’utilisation allant des applications d’IA à la visualisation scientifique.
Aujourd’hui, la science des données et l’apprentissage automatique (ML) sont les deux principales applications du calcul informatique. Des optimisations, même modestes, de la précision des modèles prédictifs de ML peuvent se traduire par d’importants gains financiers.
Pour améliorer la précision globale, la bibliothèque RAPIDS™ dispose d’un module Apache Spark basé sur UCX, entièrement intégré et accéléré par GPU, qui peut être configuré de façon à mettre en œuvre des communications directes de GPU à GPU et des capacités RDMA avancées. Associée à la technologie NVIDIA de mise en réseau, à la technologie logicielle Magnum IO, à la solution Spark 3.0 accélérée par GPU et à RAPIDS, la nouvelle plateforme pour Data Center de NVIDIA a été spécialement conçue pour accélérer vos workflows de manière significative avec des performances et une efficacité sans précédent.
La bibliothèque GPUDirect Storage (GDS) a été intégrée à RAPIDS pour les lecteurs ORC, Parquet, CSV et Avro. RAPIDS CuIO fournit des performances jusqu’à 4,5 fois plus élevées avec les fichiers Parquet en ayant recours à GDS pour les workflows à grande échelle.
Adobe offre des performances 7 fois plus rapides pour l’entraînement des modèles d’IA avec Spark 3.0 sur Databricks pour une réduction des coûts de 90%
Pour réaliser de nouvelles découvertes scientifiques, les chercheurs ont aujourd’hui recours à des simulations avancées afin d'étudier des systèmes moléculaires complexes pour la découverte de médicaments, d'utiliser de nouveaux modèles physiques pour identifier de nouvelles sources d'énergie ou d'analyser de grands volumes de données atmosphériques pour mieux anticiper les phénomènes climatiques extrêmes. Les principaux outils de simulation et applications tirent parti de NVIDIA Magnum IO pour réduire les délais d’accès aux données. L’environnement logiciel Magnum IO met en œuvre des moteurs d’accélération au niveau matériel et un déchargement intelligent du trafic réseau grâce à des technologies telles que RDMA, NVIDIA GPUDirect et NVIDIA SHARP, tout en optimisant la bande passante et en réduisant la latence avec les solutions NVIDIA InfiniBand et NVIDIA NVLink pour l’optimisation de la mise en réseau.
Dans les environnements mutualisés, il se peut que certaines applications soient impactées par les interférences aléatoires du trafic avec des applications voisines. Magnum IO, qui s’appuie sur la plateforme NVIDIA Quantum-2 InfiniBand, dispose de nouvelles capacités avancées pour atténuer tout impact négatif sur les performances des utilisateurs. Cela permet d’obtenir des résultats optimaux et de déployer efficacement des applications HPC et ML à tous les niveaux.
Bibliothèques Magnum IO et applications HPC
Les performances de VASP augmentent de manière considérable suite au remplacement de MPI par NCCL. UCX accélère les applications de calcul scientifique telles que VASP, Chroma, MIA-AI, Fun3d, CP2K et Spec-HPC2021, contribuant ainsi à réduire les délais d’exécution des opérations Wall-Clock.
NVIDIA HPC-X optimise la disponibilité du CPU, l’évolutivité des applications et l’efficacité du système pour accélérer les performances des applications de calcul haute performance, peu importe leur éditeur. NCCL, UCX et HPC-X font partie intégrante du kit de développement de NVIDIA pour le HPC.
Les calculs FFT (Fast Fourier Transforms) sont utilisés dans de nombreux domaines allant de la dynamique moléculaire au traitement des signaux en passant par la mécanique des fluides numérique, les réseaux sans fil et l’apprentissage automatique. Grâce à l’utilisation de NVSHMEM™ (bibliothèque de NVIDIA pour la mémoire partagée), cuFFTMp est indépendant de l’implémentation MPI et fonctionne au plus près de la vitesse de la lumière, ce qui est essentiel car les performances peuvent varier considérablement d’une MPI à l’autre.
QUDA (Qualitative Data Analysis) est une bibliothèque Lattice de chromodynamique quantique qui peut utiliser NVSHMEM pour le processus de communication afin de réduire les surcharges relatives à la synchronisation du CPU et du GPU, mais aussi d’améliorer les superpositions liées aux calculs et aux communications. Cela permet de réduire la latence et d’améliorer la mise à l’échelle.
Approche multi-GPU et multi-nœuds : utilisation évolutive des FFT avec NVIDIA cuFFTMp
Visualisation de volume à haut degré d’interactivité : simulation du programme d’atterrisseurs martiens de la NASA (150 To)
Une nouvelle génération d’applications HPC Exascale mobilise aujourd’hui des modèles d’IA dotés de plusieurs billions de paramètres pour exécuter des tâches dans des domaines comme l’IA conversationnelle. L’entraînement de ces modèles de pointe peut nécessiter plusieurs mois, y compris sur des supercalculateurs. Réduire ces délais d’entraînement à quelques jours seulement nécessite une communication fluide et rapide entre chaque GPU d’un même serveur, condition nécessaire à une mise à l’échelle probante des performances. La combinaison de NVIDIA NVLink, de NVIDIA NVSwitch, des bibliothèques NVIDIA Magnum IO et d’une forte évolutivité sur tous les serveurs offre un entraînement jusqu’à 9 fois plus rapide avec les modèles MoE (Mixture of Experts). Cela permet aux chercheurs d’entraîner des modèles complexes à une vitesse optimale.
Bibliothèques Magnum IO et intégrations Deep Learning
NCCL et d’autres bibliothèques Magnum IO exploitent en toute transparence les nouveaux GPU NVIDIA H100, mais aussi NVLink, NVSwitch et les réseaux InfiniBand afin d’accélérer les charges de travail de Deep Learning, notamment pour les systèmes de recommandation et l’entraînement de modèles de langage complexes.
Les avantages de NCCL incluent des délais d’entraînement nettement plus courts ainsi qu’une bande passante d’interconnexion proche de 100% entre les serveurs dans un environnement distribué.
La technologie Magnum IO GPUDirect Storage (GDS) est mise en œuvre par la bibliothèque DALI (Data Loading Library) via l’opérateur du lecteur Numpy. Par rapport à l’outil Numpy de base, GDS fournit des performances jusqu’à 7,2 fois plus élevées pour les inférences Deep Learning avec DALI.
Permettre aux chercheurs de repousser les limites de l’IA nécessite une puissance de calcul massive et une évolutivité sans précédent. La combinaison des technologies de mise en réseau NVIDIA Quantum-2 InfiniBand, NVLink, NVSwitch et de Magnum IO offre une évolutivité immédiate pour des centaines ou des milliers de GPU exploités conjointement.
Les performances augmentent de 1,9 fois sur LBANN avec NVSHMEM par rapport à MPI
Les GPU permettent d’accélérer des tâches complexes et chronophages pour une grande variété d’applications allant de la diffusion en direct à la reconstruction d’images stéréoscopiques en temps réel.
La technologie NVIDIA GPUDirect pour la Vidéo permet aux solutions matérielles tierces de communiquer efficacement avec les GPU de NVIDIA tout en minimisant les problèmes de latence. Grâce à cette technologie novatrice, les dispositifs d’E/S sont parfaitement synchronisés avec le GPU et le CPU, de manière à minimiser les cycles de copie des données entre les pilotes matériels.
GPUDirect Storage (GDS) s’intègre à cuCIM, un kit d’outils extensible conçu pour fournir des fonctions primitives d’E/S, de vision par ordinateur et de traitement d’images tirant profit de l’accélération GPU pour les images à N dimensions, plus particulièrement dans le domaine de l’imagerie biomédicale.
Dans les deux exemples suivants, le framework NVIDIA IndeX® est utilisé avec GDS pour accélérer la visualisation des grands ensembles de données.
Visualisation d’images microscopiques de cellules vivantes en temps réel avec NVIDIA Clara™ Holoscan
> GitHub NVIDIA Magnum IO > NVIDIA GPUDirect Storage : chemin d’accès direct entre le stockage et la mémoire GPU > Accélération des communications E/S des Data Centers modernes > Accélération des opérations collectives NVSHMEM 2.0 par équipe avec NCCL > Optimisation des mouvements de données dans les applications GPU avec l’environnement de développement NVIDIA Magnum IO > Accélération du calcul intensif et natif dans le Cloud avec Magnum IO > Accès à MOFED
Recevez des informations et des mises à jour sur NVIDIA Magnum IO.
Facilite les transferts E/S directement vers la mémoire GPU, ce qui permet d’améliorer les échanges de données entre le CPU et la mémoire système. Réduit la latence relative à la mémoire système, ce qui optimise les transferts de petite taille et l’utilisation du CPU en fournissant une meilleure indépendance.
EN SAVOIR PLUS ›
Lire le blog - GDS : chemin d’accès direct entre le stockage et la mémoire GPU
Regarder le webinaire - NVIDIA GDS : accélération des chemins de données vers le GPU
Présente en tant que disque NVMe local des instances logiques de stockage en réseau, telles que NVMe over Fabrics (NVMe-oF), ce qui permet au système d’exploitation hôte et à l’hyperviseur d’utiliser un pilote NVMe standard au lieu d’un protocole distant de stockage réseau.
Ensemble de bibliothèques et de pilotes NIC optimisés pour un traitement rapide des paquets dans l’espace utilisateur, fournissant une API et un framework communs pour les applications de mise en réseau à haute vitesse.
Fournit un accès rapide à l’adaptateur réseau pour lire ou écrire des paquets de données sur les appareils connectés. Permet aux applications compatibles avec RDMA d’utiliser toute la puissance de calcul des appareils connectés sans avoir à copier les données via la mémoire hôte.
Framework de communication open-source pour la production dédié aux applications centrées sur les données et les applications à hautes performances. Inclut une interface de bas niveau qui met en œuvre les opérations réseau fondamentales prises en charge par le matériel sous-jacent. Incorpore les bibliothèques MPI et SHMEM, les technologies Unified Communication X (UCX), NVIDIA SHARP, KNEM et des benchmarks MPI standardisés.
Met en service les fonctions primitives de communication basées sur la topologie grâce à une synchronisation optimale entre les processeurs communicants. NCCL accélère les opérations collectives et réduit les délais d’exécution des opérations Wall-Clock. NCCL est intégré à divers composants RAPIDS pour l’apprentissage automatique, à RAFT (Rapids Analytics Framework Toolkit) et à DASK-cuML. cuML est une suite de bibliothèques qui implémente des algorithmes de ML et des fonctions primitives mathématiques. NCCL est intégré à PyTorch, à NVIDIA Merlin™ HugeCTR, à NVIDIA Nemo Megatron, à NVIDIA Riva, au conteneur TensorFlow et au conteneur MXNet.
NVSHMEM est un modèle de programmation qui permet aux applications de fournir des accès à fine granularité via l’interconnexion distribuée NVLink Scale-Up de 4e génération, tout en les superposant à des techniques de calcul intensif. Cette bibliothèque permet d’accélérer de manière significative les applications de calcul scientifique distribuées, telles que cuFFT avec NVSHMEM.
NVSHMEM propose une interface de programmation parallèle basée sur la norme OpenSHMEM, permettant ainsi de créer un espace d’adressage global pour les données couvrant la mémoire de plusieurs GPU sur de multiples serveurs.
UCX est un framework de communication open-source pour la production dédié aux applications centrées sur les données et les applications à hautes performances. Inclut une interface de bas niveau qui met en œuvre les opérations réseau fondamentales prises en charge par le matériel sous-jacent. Comporte également une interface de haut niveau permettant de configurer des protocoles dans MPI, OpenSHMEM, PGAS, Spark et d’autres applications de Deep Learning et de calcul haute performance.
UCX facilite la mise en œuvre de communications point à point accélérées par GPU pour fournir des performances optimales tout en mobilisant une connectivité NVLINK, PCIe, Ethernet ou InfiniBand entre les différents éléments de calcul sur GPU.
Ensemble de fonctionnalités accélérant le traitement des commutateurs et des paquets. ASAP2 décharge le pilotage des données et l’application des routines de sécurité du CPU vers le réseau pour renforcer l’efficacité, optimiser le contrôle et lutter contre les applications malveillantes.
Le DPU NVIDIA® BlueField® est un processeur de traitement des données qui décharge les tâches critiques de stockage, de sécurité et de réseau du CPU, constituant ainsi la meilleure solution pour répondre aux besoins de performance, d’efficacité du réseau et de sécurité informatique relatifs aux Data Centers modernes.
Réduit les délais de communication MPI et optimise la superposition entre les calculs et les communications. Technique mise en œuvre par les adaptateurs NVIDIA Mellanox InfiniBand pour décharger le traitement des messages MPI à partir de la machine hôte sur la carte réseau, ce qui permet une transmission sans copie des messages MPI.
Améliore les performances des algorithmes d’agrégation et de réduction des données dans des bibliothèques comme MPI, SHMEM ou NCCL (entre autres) en transférant ces algorithmes du GPU ou du CPU vers les éléments de commutation réseau ou le DPU, ce qui élimine la nécessité d’envoyer des données à plusieurs reprises entre les différents points de terminaison InfiniBand ou NVLink de 4e génération. L’intégration de SHARP accélère jusqu’à 4 fois les performances de NCCL et optimise jusqu’à 7 fois la latence des bibliothèques MPI. SHARP est pris en charge par UFM, HPC-X, NCCL et la plupart des packages MPI basés sur les normes de l’industrie.
Bénéficiez d’une visibilité holistique, d’un dépannage complet et d’une approche DevOps au sein de votre réseau moderne de Data Center grâce à NVIDIA NetQ, qui regroupe un ensemble d’outils d’exploitation réseau modernes et hautement évolutifs facilitant la validation des structures NVIDIA® Cumulus® Linux et SONiC en temps réel.
Fournit des fonctionnalités avancées de débogage, de supervision, de gestion et d’approvisionnement des Data Centers avec InfiniBand. Prend en charge la télémétrie réseau en temps réel grâce à des techniques de renseignement et d’analyse optimisées par l’IA.