Nouveaux records de performance dans MLPerf

Les solutions d’entraînement et d’inférence de NVIDIA enregistrent des records de performance dans MLPerf, l’outil de benchmarking incontournable pour les performances d’IA.

Voir nos résultats

Qu’est-ce que MLPerf ?

MLPerf est un outil de benchmarking mis en œuvre par un consortium d’experts de l’IA, qui rassemble des organismes universitaires, des laboratoires de recherche et des groupes industriels, dont la mission consiste à "concevoir des benchmarks fiables et efficaces" pour obtenir des évaluations impartiales des performances d’entraînement et d’inférence relatives aux plateformes matérielles, aux solutions logicielles et aux différents services du marché, tout ceci dans des conditions réglementées. Pour rester à la pointe des dernières tendances de l’industrie, MLPerf évolue de manière ininterrompue en réalisant de nouveaux tests à intervalles réguliers et en intégrant de nouvelles charges de travail qui suivent les dernières évolutions de l’IA.

MLPerf - Catégories de soumission

Troisième instanciation dédiée aux diverses solutions d’entraînement de l’industrie, MLPerf Training v0.7 nous a permis de distinguer huit différents types de charges de travail qui couvrent une grande variété de cas d’utilisation incluant la vision par ordinateur, le traitement automatique du langage naturel, les systèmes de recommandation et l’apprentissage par renforcement.

MLPerf Inference v0.5 nous a servi à tester trois cas d’utilisation spécifiques avec cinq types de réseaux de neurones (quatre d’entre eux portaient sur la vision par ordinateur, le cinquième sur la traduction automatique).

Classification d’images

Classification d’images

Assigne une étiquette à une image d’entrée à partir d’un ensemble prédéfini de catégories, dans des champs d’application de la vision par ordinateur incluant notamment les véhicules autonomes. En savoir plus.

Détection d’objets légers

Détection d’objets légers

Identifie des instances d’objets concrets comme des visages, des vélos ou des bâtiments à partir d’images ou de vidéos d’entrée, puis leur assigne des volumes englobants. En savoir plus.

Détection d’objets lourds

Détection d’objets lourds

Détecte des objets d’intérêt spécifiques au sein d’une image et leur attribue un masque de pixels. En savoir plus.

Traduction (réseaux récurrents)

Traduction (réseaux récurrents)

Traduit un texte d’une langue à une autre via un réseau de neurones récurrents (RNN). En savoir plus.

Traduction (réseaux non récurrents)

Traduction (réseaux non récurrents)

Traduit un texte d’une langue à une autre via un réseau de neurones Feed-Forward. En savoir plus.

Traitement automatique du langage naturel (NLP)

Traitement automatique du langage naturel (NLP)

Analyse du contenu textuel en exploitant la relation entre différents mots au sein d’un bloc de texte. Autorise des modèles de réponse aux questions ou des modèles de paraphrase avec de nombreux autres cas d’utilisation liés à la linguistique. En savoir plus.

Systèmes de recommandation

Systèmes de recommandation

Fournit des résultats personnalisés pour les services informatiques dédiés aux utilisateurs finaux, tels que les réseaux sociaux ou les sites de commerce électronique, en analysant les interactions entre les utilisateurs et les éléments de service comme les produits ou les publicités. En savoir plus.

Apprentissage par renforcement

Apprentissage par renforcement

Évalue différentes actions possibles pour maximiser une récompense quantitative en utilisant un système dérivé du jeu de Go sur une grille de 19x19. En savoir plus.

NVIDIA avec MLPerf : résultats de benchmark

  • Entraînement

    Entraînement

  • Inférence

    Inférence

Le GPU NVIDIA A100 Tensor Core et le système NVIDIA DGX SuperPOD™ nous ont permis d’enregistrer 16 records de performance pour l’entraînement, que ce soit avec des charges de travail sur processeur dédié ou avec des charges de travail à l’échelle sur des systèmes commerciaux. Ces performances sans précédent résultent d’une intégration minutieuse de matériels, de logiciels et de technologies au niveau du système. L’investissement continu de NVIDIA en matière de performance a permis d’améliorer le rendement avec nos trois soumissions MLPerf.

MLPERF : JUSQU’À 4 FOIS PLUS DE PERFORMANCE EN 1,5 AN

L’engagement de NVIDIA pour l’innovation apporte des améliorations en continu

MLPERF : JUSQU’À 4 FOIS PLUS DE PERFORMANCE EN 1,5 AN

Comparatif du rendement d’un seul serveur DGX-1V sur une epoch vs DGX A100 (passe unique du jeu de données via le réseau de neurones) | Comparatif MLPerf ID 0.5/0.6/0.7 : ResNet-50 v1.5: 0.5-12, /0.6-8 /0.7-39, 0.7-18 | SSD: 0.5-13/0.6-9 /0.7-40, 0.719 | GNMT: 0.5-13/0.6-9 /0.7-40 0.7-19 | Mask R-CNN: 0.5-13/0.6-9 /0.7-40 0.7-19 | Transformer : 0.5-13/0.6-9 0.7-40, 0.7-19. Le nom et le logo de MLPerf sont des marques commerciales. Rendez-vous sur www.mlperf.org pour obtenir plus d’informations.

NVIDIA établit 16 records de performance

Pour des solutions commerciales

  Records de mise à niveau Records d’accélération
Systèmes de recommandation (DLRM) 3,33 min 0,44 heure
Traitement automatique du langage naturel (BERT) 0,81 min 6,53 heures
Apprentissage par renforcement (MiniGo) 17,07 min 39,96 heures
Traduction via réseaux non récurrents (Transformer) 0,62 min 1,05 heures
Traduction via réseaux récurrents (GNMT) 0,71 min 1,04 heure
Détection d’objets lourds (Mask R-CNN) 10,46 min 10,95 heures
Détection d’objets légers (SSD) 0,82 min 1,36 heure
Classification d’images (ResNet-50 v1.5) 0,76 min 5,30 heures

Performance d’accélération par processeur mesurées à la même échelle dès que possible. Données tenant compte des performances rapportées pour MLPerf 0.7 avec NVIDIA A100 (8x A100). MLPerf ID DLRM : 0.7-17, ResNet50 v1.5 : 0.7-18, 0.7-15 BERT, GNMT, Mask R-CNN, SSD, Transformer : 07-19, MiniGo : 0.7-20. Échelle maximale : résultats de MLPerf v0.7 enregistrés avec NVIDIA DGX A100 (8x A100s). MLPerf ID Max Scale : ResNet-50 v1.5 : 0.7-37, Mask R-CNN : 0.7-28, SSD : 0.7-33, GNMT : 0.7-34, Transformer : 0.7-30, MiniGo : 0.7-36, BERT : 0.7-38, DLRM : 0.7-17. | Le nom et le logo de MLPerf sont des marques commerciales. Rendez-vous sur www.mlperf.org pour obtenir plus d’informations.

NVIDIA a enregistré des records de performance pour quatre scénarios distincts (serveur, hors ligne, monoflux et multi-flux). Nous fournissons par ailleurs les meilleures performances par accélérateur du marché pour les solutions commerciales dans cinq tests spécifiques. Ces résultats constituent une preuve du leadership de NVIDIA relatif aux performances d’inférence, mais aussi de la polyvalence incomparable de notre plateforme d’inférence.

Scénario de serveur sur Data Center ou sur l’Edge

Architecture NVIDIA Turing™

  NVIDIA T4
(inférences/seconde)		 NVIDIA TITAN RTX™
(inférences/seconde)		 NVIDIA Jetson Xavier™
(nombre maximal d’inférences/requête)
MobileNet-v1 16 884 47 775 302
ResNet-50 v1.5 5 193 15 008 100
SSD MobileNet-v1 7 078 20 501 102
SSD ResNet-34 126 338 2
GNMT 198 645 N/A

1) Résultats d’inférence de MLPerf v0.5 avec des serveurs sur Data Center et des scénarios hors connexion ou en ligne récupérés à partir de www.mlperf.org le 6 novembre 2019 (références Inf-0.5-15, Inf-0. 5-16, Inf-0.5-19, Inf-0.5-21, Inf-0.5-22, Inf-0.5-23, Inf-0.5-25, Inf-0.5-26, Inf-0.5-27). Les performances par processeur sont calculées en divisant la métrique principale des performances totales par le nombre d’accélérateurs déclarés.
2) Résultats d’inférence de MLPerf v0.5 avec des serveurs sur l’Edge et des scénarios mono-flux ou multi-flux récupérés à partir de www.mlperf.org le 6 novembre 2019 (références Inf-0.5-24, Inf-0.5-28, Inf-0.5-29).

La technologie à l’œuvre derrière les résultats

La complexité grandissante des nouvelles demandes de l’IA requiert une intégration étroite entre tous les aspects de la plateforme. Comme nous l’avons démontré avec les résultats de benchmark de MLPerf, la plateforme d’IA de NVIDIA offre des performances record avec le GPU le plus avancé au monde, des technologies d’interconnexion puissantes et évolutives ainsi que des logiciels de pointe, qui forment une solution avancée de bout en bout aux résultats exceptionnels pouvant être déployée sur Data Center, dans le Cloud ou sur l’Edge.

Environnement logiciel optimisé pour l’accélération des workflows d’IA

Environnement logiciel optimisé pour l’accélération des workflows d’IA

Composant essentiel de la plateforme de NVIDIA et facteur déterminant dans l’obtention de records de performance sans précédent sous MLPerf, NGC™ est un outil d’IA, de HPC et d’analyse de données optimisé par GPU qui simplifie et accélère les workflows de bout en bout. Incluant plus de 150 conteneurs de niveau entreprise (pour des workflows allant de l’IA conversationnelle aux systèmes de recommandation), plus de 100 modèles uniques et des kits de développement logiciel spécifiques qui peuvent être déployés sur site, dans le Cloud ou sur l’Edge, NGC permet aux data scientists, aux chercheurs et aux développeurs de concevoir des solutions de pointe, de collecter des données cruciales et de créer de la valeur ajoutée plus rapidement que jamais.

DÉCOUVRIR NGC

Infrastructure d’IA à haut niveau de leadership

L’obtention de résultats probants pour l’entraînement et l’inférence requiert une infrastructure spécifiquement conçue pour répondre aux défis les plus complexes au monde en matière d’IA. La plateforme d’IA de NVIDIA offre des records de performance grâce à la puissance phénoménale du GPU NVIDIA A100 Tensor Core et du GPU NVIDIA T4 Tensor Core ainsi qu’à l’évolutivité et la polyvalence sans précédent des technologies d’interconnexion NVLink® et NVSwitch™, sans compter l’apport indéniable de la solution Mellanox ConnectX-6 VPI. Ces innovations technologiques figurent au cœur du système NVIDIA DGX™ A100, moteur fondamental de ces performances historiques.

Les systèmes NVIDIA DGX™ offrent une évolutivité élevée, un déploiement rapide et une puissance de calcul exceptionnelle qui permettent à toutes les entreprises de concevoir des infrastructures d’IA à la pointe de la technologie.

EN SAVOIR PLUS
Infrastructure d’IA à haut niveau de leadership

Obtenez plus d’informations sur les performances d’entraînement et d’inférence de notre système pour Data Center.

En savoir plus
Classification d’images

Classification d’images

Entraînement MLPerf sur ResNet v 1.5 avec un jeu de données ImageNet.
Inférence MLPerf sur ResNet-50 v. 1.5 et MobileNet-v1 avec un jeu de données ImageNet.
Détection d’objets légers

Détection d’objets légers

Entraînement MLPerf sur Single-Shot Detector (SSD) avec un jeu de données COCO.
Inférence MLPerf sur deux réseaux SSD (SSD-ResNet-34 haute résolution et 1,44 MP et SSD-MobileNet-v1 basse résolution et 0,09 MP) avec un jeu de données COCO.
Détection d’objets lourds

Détection d’objets lourds

Entraînement MLPerf sur Mask R-CNN avec un jeu de données COCO.
Traduction (réseaux récurrents)

Traduction (réseaux récurrents)

Entraînement MLPerf sur un système de traduction automatique Google GNMT avec un jeu de données WMT anglais-allemand.
Inférence MLPerf sur un système de traduction neuronal Google GNMT RNN avec un jeu de données WMT16.
Traduction (réseaux non récurrents)

Traduction (réseaux non récurrents)

MLPerf sur Transformer avec un jeu de données WMT anglais-allemand.
Traitement automatique du langage naturel (NLP)

Traitement automatique du langage naturel (NLP)

MLPerf sur des représentations d’encodage bidirectionnelles à partir de Transformers (BERT) sur un jeu de données Wikipedia 2020/01/01.
Systèmes de recommandation

Systèmes de recommandation

MLPerf sur un modèle de recommandations pour le Deep Learning (DLRM) avec des jeux de données Click Logs de 1 To.
Apprentissage par renforcement

Apprentissage par renforcement

MLPerf sur un modèle Mini Go basé sur un jeu de données Go.
Produits
Technologies
LOGICIELS
Ressources