Nouveaux records de performance dans MLPerf

Les solutions d’entraînement et d’inférence de NVIDIA enregistrent des records de performance dans MLPerf, l’outil de benchmarking incontournable pour les performances d’IA.

Voir nos résultats

Qu’est-ce que MLPerf ?

MLPerf est un outil de benchmarking mis en œuvre par un consortium d’experts de l’IA, qui rassemble des organismes universitaires, des laboratoires de recherche et des groupes industriels, dont la mission consiste à "concevoir des benchmarks fiables et efficaces" pour obtenir des évaluations impartiales des performances d’entraînement et d’inférence relatives aux plateformes matérielles, aux solutions logicielles et aux différents services du marché, tout ceci dans des conditions réglementées. Pour rester à la pointe des dernières tendances de l’industrie, MLPerf évolue de manière ininterrompue en réalisant de nouveaux tests à intervalles réguliers et en intégrant de nouvelles charges de travail qui suivent les dernières évolutions de l’IA.

MLPerf - Catégories de soumission

Troisième instanciation dédiée aux diverses solutions d’entraînement de l’industrie, MLPerf Training v0.7 nous a permis de distinguer huit différents types de charges de travail qui couvrent une grande variété de cas d’utilisation incluant la vision par ordinateur, le traitement automatique du langage naturel, les systèmes de recommandation et l’apprentissage par renforcement.

MLPerf Inference v0.7 nous a servi à tester cinq cas d’utilisation spécifiques avec sept types de réseaux de neurones (trois d’entre eux portaient sur la vision par ordinateur, le quatrième sur les systèmes de recommandation, deux autres sur le traitement automatique du langage naturel et le dernier sur l’imagerie médicale).

Classification d’images

Classification d’images

Assigne une étiquette à une image d’entrée à partir d’un ensemble prédéfini de catégories, dans des champs d’application de la vision par ordinateur incluant notamment les véhicules autonomes. En savoir plus.

Détection d’objets légers

Détection d’objets légers

Identifie des instances d’objets concrets comme des visages, des vélos ou des bâtiments à partir d’images ou de vidéos d’entrée, puis leur assigne des volumes englobants. En savoir plus.

Détection d’objets lourds

Détection d’objets lourds

Détecte des objets d’intérêt spécifiques au sein d’une image et leur attribue un masque de pixels. En savoir plus.

Traduction (réseaux récurrents)

Traduction (réseaux récurrents)

Traduit un texte d’une langue à une autre via un réseau de neurones récurrents (RNN). En savoir plus.

Traduction (réseaux non récurrents)

Traduction (réseaux non récurrents)

Traduit un texte d’une langue à une autre via un réseau de neurones Feed-Forward. En savoir plus.

Traitement automatique du langage naturel (NLP)

Traitement automatique du langage naturel (NLP)

Analyse du contenu textuel en exploitant la relation entre différents mots au sein d’un bloc de texte. Autorise des modèles de réponse aux questions ou des modèles de paraphrase avec de nombreux autres cas d’utilisation liés à la linguistique. En savoir plus.

Systèmes de recommandation

Systèmes de recommandation

Fournit des résultats personnalisés pour les services informatiques dédiés aux utilisateurs finaux, tels que les réseaux sociaux ou les sites de commerce électronique, en analysant les interactions entre les utilisateurs et les éléments de service comme les produits ou les publicités. En savoir plus.

Apprentissage par renforcement

Apprentissage par renforcement

Évalue différentes actions possibles pour maximiser une récompense quantitative en utilisant un système dérivé du jeu de Go sur une grille de 19x19. En savoir plus.

NVIDIA avec MLPerf : résultats de benchmark

  • Entraînement

    Entraînement

  • Inférence

    Inférence

Le GPU NVIDIA A100 Tensor Core et le système NVIDIA DGX SuperPOD™ nous ont permis d’enregistrer 16 records de performance pour l’entraînement, que ce soit avec des charges de travail sur processeur dédié ou avec des charges de travail à l’échelle sur des systèmes commerciaux. Ces performances sans précédent résultent d’une intégration minutieuse de matériels, de logiciels et de technologies au niveau du système. L’investissement continu de NVIDIA en matière de performance a permis d’améliorer le rendement avec nos trois soumissions MLPerf.

MLPERF : JUSQU’À 4 FOIS PLUS DE PERFORMANCE EN 1,5 AN

L’engagement de NVIDIA pour l’innovation apporte des améliorations en continu

MLPERF : JUSQU’À 4 FOIS PLUS DE PERFORMANCE EN 1,5 AN

Comparatif du rendement d’un seul serveur DGX-1V sur une epoch vs DGX A100 (passe unique du jeu de données via le réseau de neurones) | Comparatif MLPerf ID 0.5/0.6/0.7 : ResNet-50 v1.5: 0.5-12, /0.6-8 /0.7-39, 0.7-18 | SSD: 0.5-13/0.6-9 /0.7-40, 0.719 | GNMT: 0.5-13/0.6-9 /0.7-40 0.7-19 | Mask R-CNN: 0.5-13/0.6-9 /0.7-40 0.7-19 | Transformer : 0.5-13/0.6-9 0.7-40, 0.7-19. Le nom et le logo de MLPerf sont des marques commerciales. Rendez-vous sur www.mlperf.org pour obtenir plus d’informations.

NVIDIA établit 16 records de performance

Pour des solutions commerciales

  Records de mise à niveau Records d’accélération
Systèmes de recommandation (DLRM) 3,33 min 0,44 heure
Traitement automatique du langage naturel (BERT) 0,81 min 6,53 heures
Apprentissage par renforcement (MiniGo) 17,07 min 39,96 heures
Traduction via réseaux non récurrents (Transformer) 0,62 min 1,05 heures
Traduction via réseaux récurrents (GNMT) 0,71 min 1,04 heure
Détection d’objets lourds (Mask R-CNN) 10,46 min 10,95 heures
Détection d’objets légers (SSD) 0,82 min 1,36 heure
Classification d’images (ResNet-50 v1.5) 0,76 min 5,30 heures

Performance d’accélération par processeur mesurées à la même échelle dès que possible. Données tenant compte des performances rapportées pour MLPerf 0.7 avec NVIDIA A100 (8x A100). MLPerf ID DLRM : 0.7-17, ResNet50 v1.5 : 0.7-18, 0.7-15 BERT, GNMT, Mask R-CNN, SSD, Transformer : 07-19, MiniGo : 0.7-20. Échelle maximale : résultats de MLPerf v0.7 enregistrés avec NVIDIA DGX A100 (8x A100s). MLPerf ID Max Scale : ResNet-50 v1.5 : 0.7-37, Mask R-CNN : 0.7-28, SSD : 0.7-33, GNMT : 0.7-34, Transformer : 0.7-30, MiniGo : 0.7-36, BERT : 0.7-38, DLRM : 0.7-17. | Le nom et le logo de MLPerf sont des marques commerciales. Rendez-vous sur www.mlperf.org pour obtenir plus d’informations.

NVIDIA a enregistré des records de performance pour cinq scénarios distincts (serveur ou hors ligne pour Data Center et monoflux, multi-flux ou hors ligne à l'Edge). Nous fournissons par ailleurs les meilleures performances par accélérateur du marché pour tous les produits testés avec cinq tests spécifiques. Ces résultats constituent une preuve du leadership de NVIDIA relatif aux performances d’inférence, mais aussi de la polyvalence incomparable de notre plateforme d’inférence

Scénario de serveur sur Data Center ou sur l’Edge

Architecture NVIDIA Turing

  NVIDIA T4
(inférences/seconde)		 NVIDIA A100
(inférences/seconde)		 NVIDIA® Jetson Xavier™
(nombre maximal d’inférences/requête)
DLRM
(Recommandations)		 34,052 264,189 N/A
BERT
(Traitement automatique du langage naturel)		 437 3,328 91
ResNet-50 v1.5
(Classification d’images)		 6,112 37,331 2 075
MobileNet-v1
(Détection Single-Shot d’objets légers)		 995 6,401 2,533
ResNet-34
(Détection Single-Shot d’objets lourds)		 139 974 51
RNN-T
(Reconnaissance vocale)		 1,495 10,300 419
3D U-Net
(Imagerie médicale)		 7 42 2,3

1) Résultats d’inférence de MLPerf v0.7 avec des serveurs sur Data Center et des scénarios hors connexion ou en ligne récupérés à partir de www.mlperf.org le 21 octobre 2020. Les performances par processeur sont calculées en divisant la métrique principale des performances totales par le nombre d’accélérateurs déclarés.
2) Résultats d’inférence de MLPerf v0.7 avec des serveurs sur l’Edge et des scénarios mono-flux ou multi-flux récupérés à partir www.mlperf.org le 21 octobre 2020.

La technologie à l’œuvre derrière les résultats

La complexité grandissante des nouvelles demandes de l’IA requiert une intégration étroite entre tous les aspects de la plateforme. Comme nous l’avons démontré avec les résultats de benchmark de MLPerf, la plateforme d’IA de NVIDIA offre des performances record avec le GPU le plus avancé au monde, des technologies d’interconnexion puissantes et évolutives ainsi que des logiciels de pointe, qui forment une solution avancée de bout en bout aux résultats exceptionnels pouvant être déployée sur Data Center, dans le Cloud ou sur l’Edge.

Environnement logiciel optimisé pour l’accélération des workflows d’IA

Environnement logiciel optimisé pour l’accélération des workflows d’IA

Composant essentiel de la plateforme de NVIDIA et facteur déterminant dans l’obtention de records de performance sans précédent sous MLPerf, NGC™ est un outil d’IA, de HPC et d’analyse de données optimisé par GPU qui simplifie et accélère les workflows de bout en bout. Incluant plus de 150 conteneurs de niveau entreprise (pour des workflows allant de l’IA conversationnelle aux systèmes de recommandation), plus de 100 modèles uniques et des kits de développement logiciel spécifiques qui peuvent être déployés sur site, dans le Cloud ou sur l’Edge, NGC permet aux data scientists, aux chercheurs et aux développeurs de concevoir des solutions de pointe, de collecter des données cruciales et de créer de la valeur ajoutée plus rapidement que jamais.

DÉCOUVRIR NGC

Infrastructure d’IA à haut niveau de leadership

L’obtention de résultats probants pour l’entraînement et l’inférence requiert une infrastructure spécifiquement conçue pour répondre aux défis les plus complexes au monde en matière d’IA. La plateforme d’IA de NVIDIA offre des records de performance grâce à la puissance phénoménale du GPU NVIDIA A100 Tensor Core et du GPU NVIDIA T4 Tensor Core ainsi qu’à l’évolutivité et la polyvalence sans précédent des technologies d’interconnexion NVLink® et NVSwitch™, sans compter l’apport indéniable de la solution Mellanox ConnectX-6 VPI. Ces innovations technologiques figurent au cœur du système NVIDIA DGX™ A100, moteur fondamental de ces performances historiques.

Les systèmes NVIDIA DGX™ offrent une évolutivité élevée, un déploiement rapide et une puissance de calcul exceptionnelle qui permettent à toutes les entreprises de concevoir des infrastructures d’IA à la pointe de la technologie.

EN SAVOIR PLUS
Infrastructure d’IA à haut niveau de leadership

Obtenez plus d’informations sur les performances d’entraînement et d’inférence de notre système pour Data Center.

En savoir plus
Classification d’images

Classification d’images

Entraînement MLPerf sur ResNet v 1.5 avec un jeu de données ImageNet.
Inférence MLPerf sur ResNet-50 v. 1.5 et MobileNet-v1 avec un jeu de données ImageNet.
Détection d’objets légers

Détection d’objets légers

Entraînement MLPerf sur Single-Shot Detector (SSD) avec un jeu de données COCO.
Inférence MLPerf sur SSD-MobileNet-v1 (basse résolution, 0,09 MP) avec un jeu de données COCO.
Détection d’objets lourds

Détection d’objets lourds

Entraînement MLPerf sur Mask R-CNN avec un jeu de données COCO.
Inférence MLPerf sur SSD-ResNet-34 (haute résolution, 1,44 MP) avec un jeu de données COCO.
Traduction (réseaux récurrents)

Traduction (réseaux récurrents)

Entraînement MLPerf sur un système de traduction automatique Google GNMT avec un jeu de données WMT anglais-allemand.
Inférence MLPerf sur un système de traduction neuronal Google GNMT RNN avec un jeu de données WMT16.
Traduction (réseaux non récurrents)

Traduction (réseaux non récurrents)

MLPerf sur Transformer avec un jeu de données WMT anglais-allemand.
Inférence MLPerf pour l’évaluation de la reconnaissance vocale sur un réseau RNN-T avec le jeu de données LibriSpeech.
Traitement automatique du langage naturel (NLP)

Traitement automatique du langage naturel (NLP)

MLPerf sur des représentations d’encodage bidirectionnelles à partir de Transformers (BERT) sur un jeu de données Wikipedia 2020/01/01.
Inférence MLPerf sur BERT avec un jeu de données SQuAD v.1.1.
Systèmes de recommandation

Systèmes de recommandation

MLPerf sur un modèle de recommandations pour le Deep Learning (DLRM) avec des jeux de données Click Logs de 1 To.
Inférence MLPerf sur un réseau DLRM avec le jeu de données Criteo Terabyte.
Apprentissage par renforcement

Apprentissage par renforcement

MLPerf sur un modèle Mini Go basé sur un jeu de données Go.
Produits
Technologies
LOGICIELS
Ressources