Benchmarks MLPerf

La plateforme d’IA de NVIDIA enregistre des records de performance et de polyvalence dans MLPerf pour l'entraînement, l'inférence et le HPC, soulignant ainsi sa capacité à traiter les charges de travail d’IA les plus exigeantes.

Qu’est-ce que MLPerf ?

Les benchmarks MLPerf™ sont développés par MLCommons, un consortium d’experts de l’IA qui rassemble des organismes universitaires, des laboratoires de recherche et des groupes industriels, dans l'objectif de fournir des évaluations impartiales des performances d’entraînement et d’inférence relatives aux plateformes matérielles, aux solutions logicielles et aux différents services du marché, tout ceci dans des conditions réglementées. Pour rester à la pointe des dernières tendances de l’industrie, MLPerf évolue de manière ininterrompue en réalisant de nouveaux tests à intervalles réguliers et en intégrant de nouvelles charges de travail qui suivent les dernières avancées de l’IA.

L’école polytechnique Chalmers, qui figure parmi les principaux établissements de recherche suédois, propose de multiples spécialisations allant de la nanotechnologie aux études climatiques. Alors que nous intégrons l’IA à nos programmes pour faire avancer nos projets de recherche, nous constatons que  le benchmark MLPerf permet de comparer de multiples plateformes d’IA d’une manière aussi transparente que précise, ce qui nous aide à évaluer les performances réelles pour des cas d’utilisation concrets.

— École polytechnique Chalmers, Suède

TSMC est à l’avant-garde de la production mondiale de semi-conducteurs, comme le prouve notre dernier nœud à 5 nm qui domine actuellement son segment du marché. Des innovations telles que la modélisation de gravure ou la lithographie reposant sur l’apprentissage automatique améliorent considérablement les techniques de correction optique de proximité (OPC) ainsi que la précision des simulations de gravure. Pour exploiter le plein potentiel de l’apprentissage automatique en matière d’entraînement et d’inférence de modèles, nous travaillons avec l’équipe d’ingénierie de NVIDIA pour adapter aux GPU notre moteur Maxwell de simulation et de lithographie inverse, de manière à bénéficier d’importants gains de performance. Le benchmark MLPerf joue un rôle très important dans notre processus de prise de décisions.

— Dr Danping Peng, Directeur des technologies d’OPC pour TSMC, San Jose (Californie), États-Unis

Les technologies d’imagerie et de vision par ordinateur figurent au cœur de nos recherches en IA, stimulent de nouvelles découvertes scientifiques et constituent les piliers d’une nouvelle génération de soins médicaux. Nous avons activement collaboré avec NVIDIA pour apporter des innovations telles que 3DUNet sur le marché de la Santé. Les benchmarks MLPerf, qui font autorité dans toute l’industrie, fournissent des données de performance pertinentes aux groupes informatiques et aux développeurs, ce qui les aide à mettre en œuvre la bonne solution pour accélérer des projets et des applications spécifiques.

— Professeur Dr Klaus Maier-Hein, Responsable de l’imagerie médicale au Centre allemand de recherche sur le cancer (DKFZ)

En tant que leader incontestable sur les marchés de la recherche et de la production industrielle, Samsung met à profit l’IA pour améliorer les performances et la productivité de manière significative. La mise en œuvre de ces avancées exige que nous disposions de la meilleure plateforme informatique possible. Le benchmark MLPerf rationalise notre processus de sélection en nous fournissant une méthode d’expertise ouverte et directe pour évaluer uniformément toutes les plateformes.

— Samsung Electronics

Présentation des benchmarks MLPerf

MLPerf Training v3.1 mesure le délai d’entraînement des modèles d'IA pour neuf cas d’utilisation différents incluant les grands modèles de langage (LLM), la génération d’images, la vision par ordinateur, la segmentation d’images médicales, la reconnaissance vocale et les systèmes de recommandation.

MLPerf Inference v3.1 teste les performances d’inférence avec sept différents types de réseaux de neurones dans des champs d’application tels que les LLM, le traitement automatique du langage naturel, la vision par ordinateur et la segmentation d’images médicales.

MLPerf HPC v3.0 évalue quatre cas d’utilisation différents en matière de calcul scientifique : l'identification climatique des rivières atmosphériques, la prédiction de paramètres cosmologiques, la modélisation moléculaire quantique et la prédiction de la structure des protéines.

Large Language Model (LLM)

Grands modèles de langage

Algorithmes Deep Learning entraînés sur des jeux de données à grande échelle pour reconnaître, synthétiser, traduire, réaliser des prévisions et générer du contenu pour une grande variété de cas d’utilisation. En savoir plus.

Text-to-Image

Conversion de texte en image

Génère des images à partir d’invites textuelles. En savoir plus.

Recommendation

Systèmes de recommandation

Fournit des résultats personnalisés pour les services informatiques dédiés aux utilisateurs finaux, tels que les réseaux sociaux ou les sites de commerce électronique, en analysant les interactions entre les utilisateurs et les éléments de service comme les produits ou les publicités. En savoir plus.

Object Detection (Lightweight)

Détection standard d’objets

Identifie des instances d’objets concrets comme des visages, des vélos ou des bâtiments à partir d’images ou de vidéos d’entrée, puis leur assigne des volumes englobants. En savoir plus.

Object Detection (Heavyweight)

Détection avancée d’objets

Détecte des objets d’intérêt spécifiques au sein d’une image et leur attribue un masque de pixels. En savoir plus.

Image Classification

Classification d’images

Assigne une étiquette à une image d’entrée à partir d’un ensemble prédéfini de catégories, dans différents champs d’application de la vision par ordinateur. En savoir plu.

Natural Language Processing (NLP)

Traitement automatique du langage naturel (NLP)

Analyse du contenu textuel en exploitant la relation entre différents mots au sein d’un bloc de texte. Autorise des modèles de réponse aux questions ou des modèles de paraphrase avec de nombreux autres cas d’utilisation liés à la linguistique. En savoir plus.

Automatic Speech Recognition (ASR)

Reconnaissance vocale

Reconnaît et convertit le flux audio en temps réel. En savoir plus.

Biomedical Image Segmentation

Segmentation d’images biomédicales

Effectue une segmentation volumétrique d’images 3D denses pour des cas d’utilisation liés à la médecine. En savoir plus.

Climate Atmospheric River Identification Category

Identification climatique des rivières atmosphériques

Identifie les ouragans et les rivières atmosphériques à partir d'un ensemble de données de simulation climatique. En savoir plus.

Cosmology Parameter Prediction Category

Prédiction de paramètres cosmologiques

Résout un problème de régression d’images 3D en s'appuyant sur des données cosmologiques. En savoir plus.

Quantum Molecular Modeling Category

Modélisation moléculaire quantique

Prédit des phénomènes énergétiques ou des configurations moléculaires. En savoir plus.

Protein Structure Prediction

Prédiction de la structure des protéines

Prédit la structure tridimensionnelle des protéines sur la base de la connectivité unidimensionnelle des acides aminés. En savoir plus.

NVIDIA avec MLPerf : résultats de benchmark

  • Entraînement

    Entraînement

  • Inférence

    Inférence

  • HPC

    HPC

La plateforme de calcul accéléré de NVIDIA, alimentée par des GPU NVIDIA H100 Tensor Core et la technologie de mise en réseau NVIDIA Quantum-2 InfiniBand, a enregistré des records de performance pour l'entraînement des LLM dans MLPerf Training v3.1 pour deux soumissions réalisées à une échelle sans précédent en faisant appel à 10 752 GPU H100 avec une efficacité de mise à l'échelle quasi-linéaire sur le benchmark GPT-3 175B. Enfin, pour le test de conversion de texte en image reposant sur Stable Diffusion, la plateforme de NVIDIA a placé la barre très haut en délivrant le plus haut niveau de performance ainsi qu'une évolutivité exceptionnelle. Grâce à une ingénierie Full-Stack à l’échelle des Data Centers, NVIDIA continue d’accélérer les performances d’entraînement des modèles d'IA à une vitesse foudroyante.

NVIDIA établit un nouveau record d’entraînement de LLM avec la soumission MLPerf la plus avancée à ce jour

NVIDIA Sets a New Large Language Model Training Record With Largest MLPerf Submission Ever
Benchmark Per-Accelerator Records
(NVIDIA H100 Tensor Core GPU)
Large Language Model (GPT-3 175B) 548 hours (23 days)
Natural Language Processing (BERT) 0.71 hours
Recommendation (DLRM-DCNv2) 0.56 hours
Speech Recognition (RNN-T) 2.2 hours
Image Classification (ResNet-50 v1.5) 1.8 hours
Object Detection, Heavyweight (Mask R-CNN) 2.6 hours
Object Detection, Lightweight (RetinaNet) 4.9 hours
Image Segmentation (3D U-Net) 1.6 hours

La plateforme d’IA de NVIDIA a fourni le plus haut niveau de performance lors de tous les tests d’entraînement réalisés dans MLPerf

Outre les performances sans précédent à grande échelle enregistrées lors des tests de grands modèles de langage et de conversion de texte en image, NVIDIA a également établi de nouveaux records de performance avec les charges de travail relatives aux systèmes de recommandation, à la détection d’objets, à la segmentation d’images médicales et au traitement automatique du langage naturel dans MLPerf Training v3. 1. Grâce aux GPU NVIDIA H100 et à NVIDIA Quantum-2, la plateforme de NVIDIA continue de fournir les meilleurs délais d’entraînement dans tous les benchmarks, offrant ainsi des performances incomparables et une polyvalence remarquable pour traiter une grande variété de charges de travail d’IA.

Performances à grande échelle

Benchmark Durée d’entraînement
GPT-3 3,92 minutes
Stable Diffusion v2 2,47 minutes
DLRM-DCNv2 1,0 minutes
BERT-large 0,12 minutes
ResNet-50 v1.5 0,18 minutes
Mask R-CNN 1,5 minutes
RetinaNet 0,92 minutes
3D U-Net 0,77 minutes
RNN-T 1,7 minutes

Le GPU NVIDIA H100 Tensor Core a contribué à accélérer les systèmes de calcul au rendement le plus élevé dans le cadre de tous nos tests réalisés dans MLPerf Inference v3.1 avec différents scénarios et charges de travail pour Data Center. De plus, lors de sa toute première évaluation effectuée dans MLPerf, la solution NVIDIA GH200 Grace Hopper™  Superchip a été en mesure d'exécuter chaque charge de travail avec brio tout en améliorant les performances déjà exceptionnelles du GPU H100. Le. The GPU NVIDIA L4 Tensor Core GPU, qui a été spécialement optimisé en tant qu'accélérateur le plus efficace de NVIDIA pour les serveurs grand public, a également enregistré d’excellents résultats à tous les niveaux. Pour les applications de robotique et d’IA à basse consommation sur les systèmes Edge, NVIDIA Jetson AGX Orin™ et Jetson Orin NX ont quant à eux continué de démontrer des capacités d’inférence remarquables dans la catégorie des systèmes-sur-un-module.

Scénarios hors ligne - Data Center et Edge (avec GPU unique)

NVIDIA GH200 Grace Hopper Superchip (inférences/seconde) NVIDIA H100 (inférences/seconde) NVIDIA L4 (inférences/seconde) NVIDIA Jetson AGX Orin (nbr maximal d’inférences/requête) NVIDIA Jetson Orin NX (nbr maximal d’inférences/requête)
GPT-J (Grand modèle de langage) 13.34 13.29 1.30 N/A N/A
DLRMv2 (Recommandations) 49,002 42,856 3,673 N/A* N/A*
BERT (Traitement automatique du langage naturel)** 8,646 7,878 631 554 195
ResNet-50 v1.5 (Classification d’images) 93,198 88,526 12,882 6,424 2,641
RetinaNet (Détection d’objets) 1,849 1,761 226 149 67
RNN-T (Reconnaissance vocale) 25,975 23,307 3,899 1,170 432
3D U-Net (Imagerie médicale) 6.8 6.5 1.07 0.51 0.20

Le GPU NVIDIA H100 Tensor Core a accéléré de manière significative la plateforme de NVIDIA pour le HPC et l’IA lors de sa toute première évaluation dans MLPerf HPC v3.0, en doublant les performances graphiques et en fournissant des performances sans précédent avec toutes les charges de travail en termes de délai d’entraînement et de rendement. La plateforme de NVIDIA a été la seule à enregistrer ce type de résultats avec toutes les charges de travail HPC de MLPerf dans des champs d’application allant de la segmentation climatique à la prédiction des paramètres cosmologiques en passant par la modélisation moléculaire quantique et, enfin la prédiction de la structure des protéines. Les performances et la polyvalence inégalées de la plateforme de NVIDIA en font un instrument incontournable pour accélérer l'avènement d'une nouvelle vague de découvertes scientifiques avec l’IA.

Performances multipliées par 16 en 3 ans

La plateforme Full-Stack novatrice de NVIDIA fournit d'importants gains de performance

Up to 16X More Performance in 3 Years
Up to 16X More Performance in 3 Years

La technologie à l’œuvre derrière les résultats

La complexité grandissante des nouvelles demandes de l’IA requiert une intégration étroite entre tous les aspects de la plateforme. Comme nous l’avons démontré avec les résultats de benchmark de MLPerf, la plateforme d’IA de NVIDIA offre des performances record avec le GPU le plus avancé au monde, des technologies d’interconnexion puissantes et évolutives ainsi que des logiciels de pointe, qui forment une solution avancée de bout en bout aux résultats exceptionnels pouvant être déployée sur Data Center, dans le Cloud ou sur l’Edge.

Modèles pré-entraînés et logiciels optimisés disponibles via NVIDIA NGC

Environnement logiciel optimisé pour l’accélération des workflows d’IA

Composant essentiel de la plateforme de NVIDIA et facteur déterminant dans l’obtention de records de performance sans précédent sous MLPerf, le catalogue NGC est un outil d’IA, de HPC et d’analyse de données optimisé par GPU qui simplifie et accélère les workflows de bout en bout. Incluant plus de 150 conteneurs de niveau entreprise (pour des charges de travail allant de l’IA générative et de l’IA conversationnelle jusqu'aux systèmes de recommandation avec des centaines de modèles uniques et des kits de développement logiciel spécifiques qui peuvent être déployés sur site, dans le Cloud ou à l’Edge), NGC permet aux data scientists, aux chercheurs et aux développeurs de concevoir des solutions de pointe, de collecter des données cruciales et de créer de la valeur ajoutée plus rapidement que jamais.

Infrastructure d’IA à haut niveau de leadership

L’obtention de résultats probants pour l’entraînement et l’inférence requiert une infrastructure spécifiquement conçue pour répondre aux défis les plus complexes au monde en matière d’IA. La plateforme d’IA de NVIDIA offre des records de performance grâce à la puissance phénoménale de NVIDIA GH200 Grace Hopper Superchip, du GPU NVIDIA H100 Tensor Core et du GPU NVIDIA L4 Tensor Core ainsi qu’à l’évolutivité et la polyvalence sans précédent des technologies d’interconnexion NVIDIA NVLink® et NVSwitch™, sans compter l’apport indéniable de Quantum-2 InfiniBand. Ces innovations technologiques figurent au cœur de la plateforme de NVIDIA pour les Data Centers, moteur fondamental de ces performances historiques.

Les systèmes NVIDIA DGX™ fournissent une évolutivité élevée, un déploiement rapide et une puissance de calcul exceptionnelle qui permettent à toutes les entreprises de concevoir des infrastructures d’IA à la pointe de la technologie.

Leadership-Class AI Infrastructure

Obtenez plus d’informations sur les performances d’entraînement et d’inférence de notre système pour Data Center.