Новые рекорды в MLPerf

Решения NVIDIA для тренировки и инференса демонстрируют рекордную производительность в MLPerf, ведущем бенчмарке для производительности ИИ.

Посмотреть результаты

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Категории тестирования MLPerf

MLPerf Training v0.7 — это третий бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

В MLPerf Inference v0.7 протестировано пять сценариев для семи разных типов нейросетей. Три задачи для компьютерного зрения, одна для рекомендательных систем, две для обработки языка и одна для медицинской визуализации.

Классификация изображений

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения, например в беспилотных автомобилях. Узнайте больше.

Обнаружение объектов (простое)

Обнаружение объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Узнайте больше.

Распознавание объектов (сложное)

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Узнайте больше.

Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Узнайте больше.

Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

Перевод текста с одного языка на другой при помощи нейронной сети с прямой связью. Узнайте больше.

Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Узнайте больше.

Рекомендательные системы

Рекомендательные системы

Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Узнайте больше.

Обучение с подкреплением

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Узнайте больше.

Результаты NVIDIA в бенчмарке MLPerf

  • Тренировка

    Тренировка

  • Инференс

    Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD™ установили 16 рекордов производительности обучения ИИ как для отдельного чипа, так и для общей работы коммерчески доступных систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA в производительность всего стека позволили улучшить результаты более чем в трех направлениях MLPerf.

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Сравнение производительности одного сервера DGX-1V на одной эпохе и DGX A100 (один проход набора данных через нейронную сеть) | Сравнение MLPerf ID 0.5/0.6/0.7ResNet-50 v1.5: 0.5-12, /0.6-8 /0.7-39, 0.7-18 | SSD: 0.5-13/0.6-9 /0.7-40, 0.719 | GNMT: 0.5-13/0.6-9 /0.7-40 0.7-19 | Mask R-CNN: 0.5-13/0.6-9 /0.7-40 0.7-19 | Transformer: 0.5-13/0.6-9 0.7-40, 0.7-19. Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA устанавливает 16 рекордов

Для коммерчески доступных решений

  Рекорды всей системы Рекорды отдельного ускорителя
Рекомендательные системы (DLRM) 3,33 мин 0,44 ч
Обработка естественного языка (BERT) 0,81 мин 6,53 ч
Обучение с подкреплением (MiniGo) 17,07 мин 39,96 ч
Перевод (нейросеть с прямой связью) (Transformer) 0,62 мин 1,05 ч
Перевод (рекуррентная нейросеть) (GNMT) 0,71 мин 1,04 ч
Обнаружение объектов (сложное) (Mask R-CNN) 10,46 мин 10,95 ч
Обнаружение объектов (простое) (SSD) 0,82 мин 1,36 ч
Классификация изображений (ResNet-50 v1.5) 0,76 мин 5,30 ч

Для отдельных чипов по возможности сравнивается производительность аналогичных решений. Для сравнения производительности каждого ускорителя используются отчетные показатели производительности NVIDIA A100 (8 A100) в MLPerf 0.7. MLPerf ID DLRM: 0.7-17, ResNet50 v1.5: 0.7-18, 0.7-15 BERT, GNMT, Mask R-CNN, SSD, Transformer: 07-19, MiniGo: 0.7-20. Работа всей системы: все результаты в MLPerf v0.7 получены с NVIDIA DGX A100 (8 A100). MLPerf ID Max Scale: ResNet-50 v1.5: 0.7-37, Mask R-CNN: 0.7-28, SSD: 0.7-33, GNMT: 0.7-34, Transformer: 0.7-30, MiniGo: 0.7-36, BERT: 0.7-38, DLRM: 0.7-17. | Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA достигла максимальных результатов во всех пяти сценариях (работа на сервере дата-центра и офлайн, на периферийных устройствах с одним потоком, с мультипоточностью и офлайн). Также компания продемонстрировала высочайшую производительность отдельного ускорителя для всех продуктов во всех пяти тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий для дата-центра и периферийных устройств

Архитектура NVIDIA Turing

  NVIDIA T4
(Инференс/с)		 NVIDIA A100
(Инференс/с)		 NVIDIA® Jetson Xavier™
(Макс. число выводов/запрос)/th>
DLRM
(Рекомендательные системы)		 34,052 264,189 -
BERT
(Обработка естественного языка)		 437 3,328 91
ResNet-50 v1.5
(Классификация изображений)		 6,112 37,331 2,075
MobileNet-v1
(Маленькая нейросеть для распознавания)		 995 6,401 2,533
ResNet-34
(Большая нейросеть для распознавания)		 139 974 51
RNN-T
(Распознавание речи)		 1,495 10,300 419
3D U-Net
(Медицинская визуализация)		 7 42 2.3

1) Результаты серверов для дата-центров в MLPerf v0.7 Inference в сценариях работы сервера и офлайн взяты с сайта www.mlperf.org за 21 октября 2020 года. Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.
2) Результаты MLPerf v0.7 Inference для периферийных устройств с одним потоком и с мультипоточностью взяты с сайта www.mlperf.org за 21 октября 2020 года.

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям внутреннего соединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийном устройстве и достичь отличных результатов.

Оптимизированное ПО для ускорения задач ИИ

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, репозиторий NGC™ представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров приложений, в том числе для разговорного ИИ и рекомендательных систем, более 100 моделей и специализированных SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

ПЕРЕЙТИ В NGC

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA T4 с тензорными ядрами, масштабируемость и гибкость технологий внутреннего масштабирования NVIDIA NVLink®, NVSwitch™ и Mellanox ConnectX-6 VPI. Эти технологии лежат в основе системы NVIDIA DGX™ A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX™ обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

ПОДРОБНЕЕ
Передовая инфраструктура ИИ

Узнайте больше о производительности в задачах обучения и инференса.

Данные о производительности >
Классификация изображений

Классификация изображений

В MLPerf Training использована нейросеть ResNet v1.5 с набором данных ImageNet.
В MLPerf Inference использованы нейросети ResNet-50 v. 1.5 и MobileNet-v1 с набором данных ImageNet.
Обнаружение объектов (простое)

Обнаружение объектов (простое)

В MLPerf Training использована архитектура Single-Shot Detector (SSD) и набор данных COCO.
В MLPerf Inference использована нейросеть SSD-MobileNet-v1 (низкое разрешение 0,09 МП) с набором данных COCO.
Распознавание объектов (сложное)

Распознавание объектов (сложное)

В MLPerf Training использована Mask R-CNN с набором данных COCO.
В MLPerf Inference использована нейросеть SSD-ResNet-34 (высокое разрешение 1,44 МП) с набором данных COCO.
Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

В MLPerf использована система машинного перевода Google (GNMT) с набором данных WMT (английский и немецкий).
В MLPerf использована рекуррентная нейронная сеть для машинного перевода Google (GNMT) с набором данных WMT16.
Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

В MLPerf использована нейросеть Transformer и набор данных WMT (английский и немецкий языки).
В MLPerf Inference протестирована скорость распознавания речи с использованием нейросети RNN-T и набора данных LibriSpeech.
Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

В MLPerf использована Bidirectional Encoder Representations from Transformers (BERT) и набор данных Wikipedia 2020/01/01.
В MLPerf Inference использована нейросеть BERT с набором данных SQuAD v.1.1.
Рекомендательные системы

Рекомендательные системы

В MLPerf использована модель DLRM и набор данных 1 TB Click Logs.
В MLPerf Inference использована нейросеть DLRM с набором данных Criteo Terabyte.
Обучение с подкреплением

Обучение с подкреплением

В MLPerf использована Mini Go и набор данных Go.
ПРОДУКТЫ
ТЕХНОЛОГИИ
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
МАТЕРИАЛЫ