NVIDIA Magnum IO

Sous-système d'E/S pour les Data Centers modernes accélérés par GPU

Optimisation du stockage sur Data Center et des performances d’E/S sur les réseaux d’entreprise

La nouvelle unité de référence des workflows de calcul informatique sont les Data Centers, qui s’appuient sur les GPU et les technologies de mise en réseau de NVIDIA. Le calcul accéléré par GPU requiert des capacités avancées d’entrée/sortie (E/S) pour fournir le plus haut niveau de performance. NVIDIA Magnum IO™, nouveau sous-système d'E/S des Data Centers modernes, est une architecture essentielle pour les communications parallèles, asynchrones et intelligentes sur Data Center, qui optimise les capacités de stockage et les performances d’E/S sur les réseaux d’entreprise pour la mise en œuvre d’une accélération multi-GPU et multi-nœuds.

Avantages de la technologie Magnum IO

Accélération des performances d’E/S

Contourne le CPU pour activer des communications E/S directes entre la mémoire GPU, le réseau et le stockage, ce qui permet d’obtenir une bande passante 10 fois plus élevée.

Optimisation de l’équilibre et de l’utilisation du système

Allège la charge du CPU pour créer un système entièrement accéléré par GPU bien plus équilibré avec une bande passante E/S nettement plus élevée, réduisant par dix le nombres de cœurs CPU requis et optimisant jusqu’à 30 fois l’utilisation du CPU.

Intégration parfaite

Fournit une implémentation soigneusement optimisée pour les plateformes actuelles et futures, que les transferts de données soient de granularité fine et sensibles à la latence, de granularité élevée et sensibles à la bande passante, ou bien encore mixtes.

Pile logicielle optimisée avec Magnum IO

La technologie Magnum IO s’appuie sur des modules logiciels pour le stockage, la mise en réseau, le calcul sur le réseau et la gestion des communications E/S pour simplifier et accélérer les transferts, l’accès et la gestion des données sur les systèmes multi-GPU et multi-nœuds. Magnum IO, qui prend en charge les bibliothèques NVIDIA CUDA-X™, exploite le plein potentiel des GPU et des topologies matérielles de mise en réseau de NVIDIA pour fournir un rendement optimal et une latence réduite.

 [Developer Blog] Magnum IO - Accelerating IO in the Modern Data Center

Magnum IO Optimization Stack

Stockage

Dans les systèmes multi-GPU à nœuds multiples, le traitement CPU à thread unique peut impacter de manière critique l’accès aux données sur les périphériques de stockage locaux ou distants. Grâce à l’accélération des performances d’E/S pour le stockage, le GPU peut contourner le CPU et la mémoire système pour accéder à des capacités avancées de stockage via huit cartes d’interface réseau à 200 Go/s, offrant ainsi une bande passante brute de 1,6 térabits/s pour le stockage.

Technologies incluses:

Mise en réseau

La structure de NVIDIA NVLink® et l’accélération de l’accès direct à la mémoire distante (RDMA) permettent de réduire la charge des communications E/S en contournant le CPU et en permettant des transferts directs de GPU à GPU à un débit maximal.

Technologies incluses:

Calcul sur le réseau

La fonctionnalité de calcul sur le réseau assure un traitement optimal des données au sein du réseau, ce qui réduit la latence introduite par le transfert des données jusqu’aux points de terminaison. Nos processeurs de traitement des données (DPU), qui mettent en œuvre un processus de calcul défini par logiciel et accéléré matériellement, vous fournissent des moteurs préconfigurés pour le traitement des données ainsi que des moteurs librement programmables.

Technologies incluses:

Gestion des ressources E/S

Pour pouvoir bénéficier d’optimisations E/S relatives au calcul, au réseau et au stockage, les utilisateurs requièrent des techniques avancées de télémétrie et de dépannage. Les plateformes de gestion de Magnum IO permettent aux chercheurs et aux opérateurs de Data Center d’approvisionner, de surveiller, de superviser et de gérer de manière préventive la structure centrale des Data Centers modernes.

Technologies incluses:

Accélération des communications E/S avec une grande variété d’applications

La technologie Magnum IO communique efficacement avec les bibliothèques NVIDIA CUDA-X pour l’intelligence artificielle (IA) et le calcul haute performance (HPC) afin d'accélérer les communications E/S dans de nombreux cas d’utilisation allant des applications d’IA à la visualisation scientifique.

  • Analyse de données
  • Calcul Haute Performance
  • Deep Learning
Analyse de données

Analyse de données

Aujourd’hui, la science des données et l’apprentissage automatique (ML) sont les deux principales applications du calcul informatique. Des optimisations, même modestes, de la précision des modèles prédictifs de ML peuvent se traduire par d’importants gains financiers. Pour améliorer la précision globale, la bibliothèque RAPIDS dispose d’un module Apache Spark basé sur UCX, entièrement intégré et accéléré par GPU, qui peut être configuré de façon à mettre en œuvre des communications directes de GPU à GPU et des capacités RDMA avancées. Associée à la technologie NVIDIA de mise en réseau, à la technologie logicielle Magnum IO, à la solution Spark 3.0 accélérée par GPU et à NVIDIA RAPIDS™, la nouvelle plateforme pour Data Center de NVIDIA a été spécialement conçue pour accélérer vos workflows de manière significative avec des performances et une efficacité sans précédent.

 Adobe offre des performances 7 fois plus rapides pour l’entraînement des modèles d’IA avec Spark 3.0 sur Databricks pour une réduction des coûts de 90%

Calcul Haute Performance

Calcul Haute Performance

Le calcul haute performance (HPC) est un pilier de la science moderne. Pour réaliser de nouvelles découvertes scientifiques, les chercheurs ont aujourd’hui recours à des simulations avancées afin d'étudier des systèmes moléculaires complexes à des fins de recherche pharmaceutique, d'utiliser de nouveaux modèles physiques pour identifier de nouvelles sources d'énergie ou d'analyser de grands volumes de données atmosphériques pour mieux anticiper les phénomènes climatiques extrêmes. L’environnement logiciel Magnum IO met en œuvre des moteurs d’accélération au niveau matériel et un déchargement intelligent du trafic réseau grâce à des technologies telles que RDMA, NVIDIA GPUDirect®, et NVIDIA SHARP™ (Scalable Hierarchical Aggregation and Reduction Protocol), tout en optimisant la bande passante et en réduisant la latence avec des adaptateurs InfiniBand HDR à 200 Go/s. Vous bénéficiez ainsi de performances plus importantes et d’un déploiement plus efficace de vos différents modèles de HPC et de ML.

Visualisation de volume à haut degré d’interactivité : simulation du programme d’atterrisseurs martiens de la NASA (150 To)

Deep Learning

Deep Learning

Les modèles d’IA gagnent en complexité alors que surgissent de nouveaux défis tels que la conception d’applications d’IA conversationnelle plus précises ou le développement de systèmes de recommandation plus évolués. Les modèles d’IA conversationnelle comme Megatron-BERT de NVIDIA mettent à profit une puissance de calcul 3 000 fois plus importante pour l’entraînement par rapport aux modèles de classification d’images tels que ResNet-50. Permettre aux chercheurs de repousser les limites de l’IA nécessite une puissance de calcul massive et une évolutivité sans précédent. La combinaison des adaptateurs InfiniBand HDR à 200 Go/s et de la pile logicielle Magnum IO offre une évolutivité optimale avec des milliers de GPU au sein d’un seul cluster.  

Entraînement de modèles DL sur les Data Centers de Facebook avec des systèmes Scale-Up et scale-Out

Inscrivez-vous à la newsletter.