Qu'est-ce que MLPerf ?
Les benchmarks MLPerf™ sont développés par MLCommons, un consortium d'experts de l'IA issus du monde universitaire, des laboratoires de recherche et du secteur, et sont conçus pour fournir des évaluations impartiales des performances d'entraînement et d'inférence pour le matériel, les logiciels et les services. Les tests sont tous effectués selon des modalités prescrites. MLPerf évolue de manière continue en réalisant de nouveaux tests à intervalles réguliers et en intégrant de nouvelles charges de travail qui suivent les dernières évolutions de l'IA pour rester à la pointe des dernières tendances du secteur.
Sous le capot des benchmarks MLPerf
MLPerf Inference v4.1 mesure les performances de l'inférence sur neuf benchmarks différents, et notamment sur plusieurs grands modèles de langage (LLM), la conversion de texte à image, le traitement du langage naturel, les systèmes de recommandation, la vision par ordinateur et la segmentation des images médicales.
MLPerf Training v4.1 mesure le temps d'entraînement sur sept critères différents, notamment le pré-entraînement des LLM, l'affinage des LLM, la conversion de texte à image, les réseaux de neurones graphiques (GNN), la vision par ordinateur, les recommandations et le traitement du langage naturel.
MLPerf HPC v3.0 mesure les performances d'entraînement dans quatre cas d’utilisation de calcul scientifique différents : l'identification climatique des rivières atmosphériques, la prédiction de paramètres cosmologiques, la modélisation moléculaire quantique et la prédiction de la structure des protéines.
Résultats de NVIDIA sur les benchmarks MLPerf
-
Entraînement
-
Inférence
-
HPC
La plate-forme NVIDIA HGX™ B200, alimentée par les GPU NVIDIA Blackwell, NVLink™ de cinquième génération et le dernier NVLink Switch, nous a permis de faire un autre pas de géant pour l'entraînement LLM dans MLPerf Training v4.1. Grâce à une ingénierie complète à l'échelle des data centers, NVIDIA continue de repousser les limites des performances d'entraînement de l'IA générative, en accélérant la création et la personnalisation de modèles d'IA de plus en plus performants.
NVIDIA Blackwell améliore l'entraînement LLM
Résultats MLPerf™ Training v4.1 récupérés sur http://www.mlcommons.org le 13 novembre 2024, à partir des entrées suivantes : 4.1-0060 (HGX H100, 2024, 512 GPU) dans la catégorie disponible, 4.1-0082 (HGX B200, 2024, 64 GPU) dans la catégorie aperçu. Résultats MLPerf™ Training v3.0, utilisés pour HGX H100 (2023, 512 GPU), récupérés à partir de l'entrée 3.0-2069. Résultat HGX A100, utilisant 512 GPU, non vérifié par l'association MLCommons. Les performances normalisées par GPU ne sont pas une mesure principale de MLPerf™ Training. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Rendez-vous sur www.mlcommons.org pour en savoir plus.
NVIDIA continue d'offrir les meilleures performances à grande échelle
La plate-forme NVIDIA, alimentée par les GPU NVIDIA Hopper™, NVLink de quatrième génération avec NVSwitch™ de troisième génération et Quantum-2 InfiniBand, a continué à afficher des performances et une polyvalence inégalées dans MLPerf Training v4.1. NVIDIA a obtenu les meilleures performances à grande échelle sur les sept benchmarks.
Performances d'échelle maximale
| Benchmark | Time to Train | Number of GPUs |
|---|---|---|
| LLM (GPT-3 175B) | 3.4 minutes | 11,616 |
| LLM Fine-Tuning (Llama 2 70B-LoRA) | 1.2 minutes | 1,024 |
| Text-to-Image (Stable Diffusion v2) | 1.4 minutes | 1,024 |
| Graph Neural Network (R-GAT) | 0.9 minutes | 512 |
| Recommender (DLRM-DCNv2) | 1.0 minutes | 128 |
| Natural Language Processing (BERT) | 0.1 minutes | 3,472 |
| Object Detection (RetinaNet) | 0.8 minutes | 2,528 |
Résultats MLPerf™ Training v4.1 récupérés sur https://mlcommons.org le 13 novembre 2024, à partir des entrées suivantes : 4.1-0012, 4.1-0054, 4.1-0053, 4.1-0059, 4.1-0055, 4.10058, 4.1-0056. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Voir https://mlcommons.org pour plus d'informations.
Lors de ses débuts MLPerf Inference, la plate-forme NVIDIA Blackwell doté du système de quantification NVIDIA Quasar a offert des performances LLM jusqu'à 4 fois plus élevées que le GPU H100 Tensor Core de génération précédente. Parmi les solutions disponibles, le GPU NVIDIA H200 Tensor Core, basé sur l'architecture NVIDIA Hopper, a fourni les meilleures performances par GPU pour l'IA générative, y compris sur les trois benchmarks LLM, qui comprenaient Llama 2 70B, GPT-J et le mélange d'experts en LLM récemment ajouté, Mixtral 8x7B, ainsi que sur le benchmark texte-image Stable Diffusion XL. Grâce à une optimisation logicielle continue, les performances de H200 ont augmenté de 27 % en moins de six mois. Pour l'IA générative à l'Edge, NVIDIA Jetson Orin™ a fourni des résultats exceptionnels, multipliant par 6 le débit de GPT-J et réduisant la latence par 2,4 fois sur un seul cycle.
NVIDIA Blackwell représente un pas de géant en matière d'inférence des LLM
MLPerf Inference v4.1 Fermé, Data Center. Résultats récupérés sur https://mlcommons.org le 28 août 2024. Résultats Blackwell mesurés sur un seul GPU et récupérés à partir de l'entrée 4.1-0074 dans la catégorie Fermé, Aperçu. Résultats H100 mesurés sur l'entrée 4.1-0043 dans la catégorie Fermée, Disponible sur un système 8x H100 et divisé par le nombre de GPU pour une comparaison par GPU. Le débit par GPU n'est pas une mesure principale de l'inférence MLPerf. Le nom et le logo de MLPerf sont des marques déposées et non déposées de MLCommons Association aux États-Unis et dans d’autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Voir https://mlcommons.org pour plus d'informations.
H200 fournit un débit d'inférence multi-GPU exceptionnel sur chaque benchmark
| Benchmark | Offline | Server |
|---|---|---|
| Llama 2 70B | 34,864 tokens/second | 32,790 tokens/second |
| Mixtral 8x7B | 59,022 tokens/second | 57,177 tokens/second |
| GPT-J | 20,086 tokens/second | 19,243 tokens/second |
| Stable Diffusion XL | 17.42 samples/second | 16.78 queries/second |
| DLRMv2 99% | 637,342 samples/second | 585,202 queries/second |
| DLRMv2 99.9% | 390,953 samples/second | 370,083 queries/second |
| BERT 99% | 73,310 samples/second | 57,609 queries/second |
| BERT 99.9% | 63,950 samples/second | 51,212 queries/second |
| RetinaNet | 14,439 samples/second | 13,604 queries/second |
| ResNet-50 v1.5 | 756,960 samples/second | 632,229 queries/second |
| 3D U-Net | 54.71 samples/second | Not part of benchmark |
MLPerf Inference v4.1 Fermé, Data Center. Résultats récupérés sur https://mlcommons.org le 28 août 2024. Tous les résultats utilisent huit GPU et récupérés à partir des entrées suivantes : 4.1-0046, 4.1-0048, 4.1-0050. Le nom et le logo de MLPerf sont des marques déposées et non déposées de MLCommons Association aux États-Unis et dans d’autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Voir https://mlcommons.org pour plus d'informations.
Le NVIDIA H100 Tensor Core a boosté la plate-forme NVIDIA pour le HPC et l'IA lors de son premier benchmark sur MLPerf HPC v3.0. Il a permis de diviser par jusqu'à 16 le temps d'entraînement en seulement trois ans et offre les meilleures performances sur toutes les charges de travail, à la fois pour les indicateurs de temps d'entrainement et de débit. La plate-forme NVIDIA a également été la seule à soumettre des résultats pour chaque charge de travail MLPerf HPC, à savoir la segmentation climatique, la prédiction des paramètres cosmologiques, la modélisation moléculaire quantique et la dernière addition, à savoir la prédiction de la structure des protéines. Les performances et la polyvalence inégalées de la plate-forme NVIDIA en font l'outil de choix pour donner naissance à la prochaine vague de découvertes scientifiques basées sur l'IA.
Jusqu'à 16 fois plus de performances en trois ans
L'innovation complète de NVIDIA est à l'origine des gains de performance
Résultats MLPerf™ HPC v3.0 récupérés sur https://mlcommons.org le 8 novembre 2023. Résultats récupérés à partir des entrées 0.7-406, 0.7-407, 1.0-1115, 1.0-1120, 1.0-1122, 2.0-8005, 2.0-8006, 3.0-8007, 3.0-8008. Le score CosmoFlow dans la v1.0 est normalisé sur les nouvelles RCP introduites dans MLPerf HPC v2.0. Les scores pour v0.7, v1.0 et v2.0 sont ajustés pour supprimer le temps de mise en scène des données du benchmark, conformément aux nouvelles règles adoptées pour v3.0 pour permettre des comparaisons équitables entre les cycles de soumission. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Voir https://mlcommons.org pour plus d'informations.
Résultats MLPerf™ HPC v3.0 récupérés sur https://mlcommons.org le 8 novembre 2023. Résultats recueillis à partir des entrées 3.0-8004, 3.0-8009 et 3.0-8010. Le nom et le logo MLPerf™ sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Voir https://mlcommons.org pour plus d'informations.
La technologie à l’œuvre derrière les résultats
La complexité grandissante des nouvelles demandes de l’IA requiert une intégration étroite entre tous les aspects de la plate-forme. Comme nous l’avons démontré avec les résultats de benchmark de MLPerf, la plate-forme d’IA de NVIDIA offre des performances record avec le GPU le plus avancé au monde, des technologies d’interconnexion puissantes et évolutives ainsi que des logiciels de pointe, qui forment une solution avancée de bout en bout aux résultats exceptionnels pouvant être déployée dans le Data Center, dans le Cloud ou sur l’Edge.
Environnement logiciel optimisé pour accélérer les workflows d'IA
Composant essentiel de la plate-forme de NVIDIA et facteur déterminant pour expliquer les résultats obtenus avec MLPerf, le catalogue NGC™ est un outil d'IA, de HPC et d'analyse de données optimisé par GPU qui simplifie et accélère les workflows de bout en bout. NGC permet aux data scientists, aux chercheurs et aux développeurs de créer des solutions de pointe, de récolter des informations et de générer de la valeur ajoutée à une vitesse sans précédent, et ce, grâce à plus de 150 conteneurs de qualité professionnelle, y compris des charges de travail pour l'IA générative, l'IA conversationnelle et les systèmes de recommandation, des centaines de modèles d'IA et des kits de développement logiciel spécifiques à des secteurs donnés et pouvant être déployés sur site, dans le Cloud ou à l'Edge.
Une infrastructure d'IA de premier ordre
L’obtention de résultats probants pour l’entraînement et l’inférence requiert une infrastructure spécifiquement conçue pour répondre aux défis les plus complexes au monde en matière d’IA. La plate-forme NVIDIA AI a offert des performances de pointe alimentées par la plate-forme NVIDIA Blackwell, la plate-forme Hopper, NVLink™, NVSwitch™ et Quantum InfiniBand. Tous ces éléments sont au cœur de la plate-forme de data centers NVIDIA, le moteur de nos performances de benchmark.
Les systèmes NVIDIA DGX™ offrent une évolutivité élevée, un déploiement rapide et une puissance de calcul exceptionnelle qui permettent à toutes les entreprises de concevoir des infrastructures d’IA à la pointe de la technologie.
Libérer l'IA générative à l'Edge grâce à des performances exceptionnelles
NVIDIA Jetson Orin offre des capacités de calcul IA sans précédent, une grande mémoire unifiée et des piles logicielles complètes, le tout avec une efficacité énergétique sans précédent afin de tirer parti des applications d'IA générative les plus récentes. Son architecture de transformation permet une inférence rapide de n'importe quel modèle d'IA générative pour des performances de pointe à l'Edge sur le benchmark MLPerf.
En savoir plus sur nos performances d'entrainement et d'inférence de Data Center.
Grands modèles de langage
MLPerf Training utilise le modèle de langage génératif GPT-3 avec 175 milliards de paramètres et une longueur de séquence de 2 048 unités sur le ensemble de données C4 pour la charge de travail de pré-entraînement LLM. Pour le test d'affinage LLM, le modèle Llama 2 70B avec l'ensemble de données GovReport avec des longueurs de séquence de 8 192.
MLPerf Inference utilise le modèle Llama 2 70B avec l'ensemble de données OpenORCA ; le modèle Mixtral 8x7B avec les ensembles de données OpenORCA, GSM8K et MBXP ; et le modèle GPT-J avec l'ensemble de données CNN-DailyMail.
Texte à image
MLPerf Training utilise le modèle de texte à image Stable Diffusion v2, entraîné sur un ensemble de données LAION-400M-filtered.
MLPerf Inference utilise le modèle de texte à image Stable Diffusion XL (SDXL) avec un sous-ensemble de 5 000 invites issues de l'ensemble de données coco-val-2014.
Systèmes de recommandation
MLPerf Training et Inference utilisent DLRMv2 (Deep Learning Recommendation Model v2), qui exploite DCNv2 multi-couches ainsi qu'un ensemble de données multi-hôtes synthétisé à partir de l'ensemble de données Criteo.
Détection standard d’objets
MLPerf Training utilise un modèle Single-Shot Detector (SSD) avec une base ResNeXt50 sur un sous-ensemble de l'ensemble de données Google OpenImages.
Réseau neuronal graphique
MLPerf Training utilise R-GAT avec l'ensemble de données hétérogènes Illinois Graph Benchmark (IGB).
Classification d’images
Entraînement et inférence MLPerf sur ResNet v 1.5 avec un ensemble de données ImageNet.
Traitement du langage naturel (NLP)
MLPerf Training sur des représentations d’encodage bidirectionnelles à partir de Transformers (BERT) sur un ensemble de données Wikipedia datant du 01/01/2020.
MLPerf Inference utilise BERT avec l'ensemble de données SQuAD v.1.1.
Segmentation d’images biomédicales
MLPerf Inference utilise 3D U-Net avec l'ensemble de données KiTS19.
Identification climatique des rivières atmosphériques
Utilise le modèle DeepCAM avec un ensemble de données de simulation CAM5 + TECA.
Prédiction des paramètres de cosmologie
Utilise le modèle CosmoFlow avec l'ensemble de données de simulation CosmoFlow N-body.
Modélisation moléculaire quantique
Utilise le modèle DimeNet++ avec l'ensemble de données Open Catalyst 2020 (OC20).
Prédiction de la structure des protéines
Utilise le modèle OpenFold entrainé sur l'ensemble de données OpenProteinSet.