Новые рекорды в MLPerf

Решения NVIDIA для тренировки и инференса демонстрируют рекордную производительность в MLPerf, ведущем бенчмарке для производительности ИИ.

Посмотреть результаты

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Категории тестирования MLPerf

MLPerf Training v0.7 — это третий бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

В MLPerf Inference v1.0 протестировано семь сценариев для семи разных типов нейросетей. Три задачи для компьютерного зрения, одна для рекомендательных систем, две для обработки языка и одна для медицинской визуализации.

Классификация изображений

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения, например в беспилотных автомобилях. Подробнее.

Обнаружение объектов (простое)

Обнаружение объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Подробнее.

Распознавание объектов (сложное)

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Подробнее.

Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Подробнее.

Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

Перевод текста с одного языка на другой при помощи нейронной сети с прямой связью. Подробнее.

Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Подробнее.

Рекомендательные системы

Рекомендательные системы

Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Подробнее.

Обучение с подкреплением

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Подробнее.

Результаты NVIDIA в бенчмарке MLPerf

  • Тренировка

    Тренировка

  • Инференс

    Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD™ установили 16 рекордов производительности обучения ИИ как для отдельного чипа, так и для общей работы коммерчески доступных систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA в производительность всего стека позволили улучшить результаты более чем в трех направлениях MLPerf.

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Сравнение производительности одного сервера DGX-1V на одной эпохе и DGX A100 (один проход набора данных через нейронную сеть) | Сравнение MLPerf ID 0.5/0.6/0.7ResNet-50 v1.5: 0.5-12, /0.6-8 /0.7-39, 0.7-18 | SSD: 0.5-13/0.6-9 /0.7-40, 0.719 | GNMT: 0.5-13/0.6-9 /0.7-40 0.7-19 | Mask R-CNN: 0.5-13/0.6-9 /0.7-40 0.7-19 | Transformer: 0.5-13/0.6-9 0.7-40, 0.7-19. Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA устанавливает 16 рекордов

Для коммерчески доступных решений

  Рекорды всей системы Рекорды отдельного ускорителя
Рекомендательные системы (DLRM) 3,33 мин 0,44 ч
Обработка естественного языка (BERT) 0,81 мин 6,53 ч
Обучение с подкреплением (MiniGo) 17,07 мин 39,96 ч
Перевод (нейросеть с прямой связью) (Transformer) 0,62 мин 1,05 ч
Перевод (рекуррентная нейросеть) (GNMT) 0,71 мин 1,04 ч
Обнаружение объектов (сложное) (Mask R-CNN) 10,46 мин 10,95 ч
Обнаружение объектов (простое) (SSD) 0,82 мин 1,36 ч
Классификация изображений (ResNet-50 v1.5) 0,76 мин 5,30 ч

Для отдельных чипов по возможности сравнивается производительность аналогичных решений. Для сравнения производительности каждого ускорителя используются отчетные показатели производительности NVIDIA A100 (8 A100) в MLPerf 0.7. MLPerf ID DLRM: 0.7-17, ResNet50 v1.5: 0.7-18, 0.7-15 BERT, GNMT, Mask R-CNN, SSD, Transformer: 07-19, MiniGo: 0.7-20. Работа всей системы: все результаты в MLPerf v0.7 получены с NVIDIA DGX A100 (8 A100). MLPerf ID Max Scale: ResNet-50 v1.5: 0.7-37, Mask R-CNN: 0.7-28, SSD: 0.7-33, GNMT: 0.7-34, Transformer: 0.7-30, MiniGo: 0.7-36, BERT: 0.7-38, DLRM: 0.7-17. | Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA достигла максимальных результатов во всех сценариях (работа на сервере дата-центра и офлайн, на периферийных устройствах с одним потоком, с мультипоточностью и офлайн). Также компания продемонстрировала высочайшую производительность отдельного ускорителя для всех продуктов во всех тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий офлайн для дата-центра и периферийных устройств (один GPU)

  NVIDIA A100
(Инференс/с)		 NVIDIA A30
(Инференс/с)		 NVIDIA A10
(Инференс/с)		 NVIDIA® Jetson Xavier™
(Макс. число выводов/запрос)
DLRM
(Рекомендательные системы)		 307,788 133,439 96,547 N/A*
BERT
(Обработка естественного языка)		 3,543 1,658 1,057 92
ResNet-50 v1.5
(Классификация изображений)		 38,110 17,690 13,210 2,072
ResNet-34
(Большая нейросеть для распознавания)		 985 470 312 57
RNN-T
(Распознавание речи)		 13,210 6,461 4,515 433
3D U-Net
(Медицинская визуализация)		 60 30 22 3

*DLRM не входит в категорию периферийных устройств

1) Результаты серверов для дата-центров в MLPerf v1.0 Inference в сценариях работы сервера и офлайн взяты с сайта www.mlperf.org за 21 апреля 2021 года. Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.
2) Результаты MLPerf v1.0 Inference для периферийных устройств с одним потоком и с мультипоточностью взяты с сайта www.mlperf.org за 21 апреля 2021 года.

1) Результаты серверов для дата-центров в MLPerf v1.0 Inference в сценариях работы сервера и офлайн взяты с сайта www.mlperf.org за 21 апреля 2021 года, данные Inf-1.0-37, Inf-1.0-63, Inf-1.0-65. Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.
2) Результаты MLPerf v1.0 Inference для периферийных устройств и сценария офлайн взяты с сайта www.mlperf.org за 21 апреля 2021 года, данные Inf-1.0-25.

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям внутреннего соединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийном устройстве и достичь отличных результатов.

Оптимизированное ПО для ускорения задач ИИ

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, репозиторий NGC™ представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров приложений, в том числе для разговорного ИИ и рекомендательных систем, более 100 моделей и специализированных SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

ПЕРЕЙТИ В NGC

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA A30 с тензорными ядрами, GPU NVIDIA A10 с тензорными ядрами, масштабируемость и гибкость технологий межсоединения NVIDIA NVLink®, NVIDIA NVSwitch™и NVIDIA ConnectX®-6 VPI. Эти технологии лежат в основе системы NVIDIA DGX™ A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX™ обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

ПОДРОБНЕЕ
Передовая инфраструктура ИИ

Узнайте больше о производительности в задачах обучения и инференса.

Данные о производительности >
Классификация изображений

Классификация изображений

В MLPerf Training and Inference использована нейросеть ResNet v1.5 с набором данных ImageNet.
В MLPerf Inference использованы нейросети ResNet-50 v. 1.5 и MobileNet-v1 с набором данных ImageNet.
Обнаружение объектов (простое)

Обнаружение объектов (простое)

В MLPerf Training использована архитектура Single-Shot Detector (SSD) и набор данных COCO.
В MLPerf Inference использована нейросеть SSD-MobileNet-v1 (низкое разрешение 0,09 МП) с набором данных COCO.
Распознавание объектов (сложное)

Распознавание объектов (сложное)

В MLPerf Training использована Mask R-CNN с набором данных COCO.
В MLPerf Inference использована нейросеть SSD-ResNet-34 (высокое разрешение 1,44 МП) с набором данных COCO.
Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

В MLPerf использована система машинного перевода Google (GNMT) с набором данных WMT (английский и немецкий).
В MLPerf использована рекуррентная нейронная сеть для машинного перевода Google (GNMT) с набором данных WMT16.
Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

В MLPerf использована нейросеть Transformer и набор данных WMT (английский и немецкий языки).
В MLPerf Inference протестирована скорость распознавания речи с использованием нейросети RNN-T и набора данных LibriSpeech.
Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

В MLPerf использована Bidirectional Encoder Representations from Transformers (BERT) и набор данных Wikipedia 2020/01/01.
В MLPerf Inference использована нейросеть BERT с набором данных SQuAD v.1.1.
Рекомендательные системы

Рекомендательные системы

В MLPerf использована модель DLRM и набор данных 1 TB Click Logs.
В MLPerf Inference использована нейросеть DLRM с набором данных Criteo Terabyte.
Обучение с подкреплением

Обучение с подкреплением

В MLPerf использована Mini Go и набор данных Go.
ПРОДУКТЫ
ТЕХНОЛОГИИ
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
МАТЕРИАЛЫ