Новые рекорды в MLPerf

Решения NVIDIA для тренировки и инференса демонстрируют рекордную производительность в MLPerf, ведущем бенчмарке для производительности ИИ.

Посмотреть результаты

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Категории тестирования MLPerf

MLPerf Training v0.7 — это третий бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

MLPerf Inference v0.5 позволяет протестировать три сценария для пяти разных типов нейросетей. Четыре задачи в тесте для компьютерного зрения, а пятая — для перевода языков.

Классификация изображений

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения, например в беспилотных автомобилях. Узнайте больше.

Обнаружение объектов (простое)

Обнаружение объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Узнайте больше.

Распознавание объектов (сложное)

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Узнайте больше.

Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Узнайте больше.

Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

Перевод текста с одного языка на другой при помощи нейронной сети с прямой связью. Узнайте больше.

Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Узнайте больше.

Рекомендательные системы

Рекомендательные системы

Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Узнайте больше.

Обучение с подкреплением

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Узнайте больше.

Результаты NVIDIA в бенчмарке MLPerf

  • Тренировка

    Тренировка

  • Инференс

    Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD™ установили 16 рекордов производительности обучения ИИ как для отдельного чипа, так и для общей работы коммерчески доступных систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA в производительность всего стека позволили улучшить результаты более чем в трех направлениях MLPerf.

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Сравнение производительности одного сервера DGX-1V на одной эпохе и DGX A100 (один проход набора данных через нейронную сеть) | Сравнение MLPerf ID 0.5/0.6/0.7ResNet-50 v1.5: 0.5-12, /0.6-8 /0.7-39, 0.7-18 | SSD: 0.5-13/0.6-9 /0.7-40, 0.719 | GNMT: 0.5-13/0.6-9 /0.7-40 0.7-19 | Mask R-CNN: 0.5-13/0.6-9 /0.7-40 0.7-19 | Transformer: 0.5-13/0.6-9 0.7-40, 0.7-19. Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA устанавливает 16 рекордов

Для коммерчески доступных решений

  Рекорды всей системы Рекорды отдельного ускорителя
Рекомендательные системы (DLRM) 3,33 мин 0,44 ч
Обработка естественного языка (BERT) 0,81 мин 6,53 ч
Обучение с подкреплением (MiniGo) 17,07 мин 39,96 ч
Перевод (нейросеть с прямой связью) (Transformer) 0,62 мин 1,05 ч
Перевод (рекуррентная нейросеть) (GNMT) 0,71 мин 1,04 ч
Обнаружение объектов (сложное) (Mask R-CNN) 10,46 мин 10,95 ч
Обнаружение объектов (простое) (SSD) 0,82 мин 1,36 ч
Классификация изображений (ResNet-50 v1.5) 0,76 мин 5,30 ч

Для отдельных чипов по возможности сравнивается производительность аналогичных решений. Для сравнения производительности каждого ускорителя используются отчетные показатели производительности NVIDIA A100 (8 A100) в MLPerf 0.7. MLPerf ID DLRM: 0.7-17, ResNet50 v1.5: 0.7-18, 0.7-15 BERT, GNMT, Mask R-CNN, SSD, Transformer: 07-19, MiniGo: 0.7-20. Работа всей системы: все результаты в MLPerf v0.7 получены с NVIDIA DGX A100 (8 A100). MLPerf ID Max Scale: ResNet-50 v1.5: 0.7-37, Mask R-CNN: 0.7-28, SSD: 0.7-33, GNMT: 0.7-34, Transformer: 0.7-30, MiniGo: 0.7-36, BERT: 0.7-38, DLRM: 0.7-17. | Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA достигает максимальных результатов во всех четырех сценариях (работа на сервере, офлайн, с одним потоком и мультипоточность). Кроме того, компания демонстрирует высочайшую производительность отдельного ускорителя для коммерчески доступных продуктов во всех пяти тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий для дата-центра и периферийных устройств

Архитектура NVIDIA Turing™

  NVIDIA T4
(Инференс/с)		 NVIDIA TITAN RTX™
(Инференс/с)		 NVIDIA Jetson Xavier™
(Макс. число выводов/запрос)
MobileNet-v1 16 884 47 775 302
ResNet-50 v1.5 5193 15 008 100
SSD MobileNet-v1 7078 20 501 102
SSD ResNet-34 126 338 2
GNMT 198 645 нет

1) Результаты серверов для дата-центров в MLPerf v0.5 Inference в сценариях работы сервера и офлайн взяты с сайта www.mlperf.org за 6 ноября 2019 года, данные Inf-0.5-15, Inf-0. 5-16, Inf-0.5-19, Inf-0.5-21, Inf-0.5-22, Inf-0.5-23, Inf-0.5-25, Inf-0.5-26, Inf-0.5-27. Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.
2) Результаты в MLPerf v0.5 Inference для периферийных устройств в задачах одного потока и мультипоточности взяты с сайта www.mlperf.org за 6 ноября 2019 года, данные Inf-0.5-24, Inf-0.5-28, Inf-0.5-29.

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям внутреннего соединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийном устройстве и достичь отличных результатов.

Оптимизированное ПО для ускорения задач ИИ

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, репозиторий NGC™ представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров приложений, в том числе для разговорного ИИ и рекомендательных систем, более 100 моделей и специализированных SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

ПЕРЕЙТИ В NGC

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA T4 с тензорными ядрами, масштабируемость и гибкость технологий внутреннего масштабирования NVIDIA NVLink®, NVSwitch™ и Mellanox ConnectX-6 VPI. Эти технологии лежат в основе системы NVIDIA DGX™ A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX™ обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

ПОДРОБНЕЕ
Передовая инфраструктура ИИ

Узнайте больше о производительности в задачах обучения и инференса.

Данные о производительности >
Классификация изображений

Классификация изображений

В MLPerf Training использована нейросеть ResNet v1.5 с набором данных ImageNet.
В MLPerf Inference использованы нейросети ResNet-50 v. 1.5 и MobileNet-v1 с набором данных ImageNet.
Обнаружение объектов (простое)

Обнаружение объектов (простое)

В MLPerf Training использована архитектура Single-Shot Detector (SSD) и набор данных COCO.
В MLPerf Inference использованы две сети SSD: SSD-ResNet-34 (высокое разрешение, 1.44 МП) и SSD-MobileNet-v1 (низкое разрешение, 0.09 МП), и набор данных COCO.
Распознавание объектов (сложное)

Распознавание объектов (сложное)

В MLPerf Training использована Mask R-CNN с набором данных COCO.
Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

В MLPerf использована система машинного перевода Google (GNMT) с набором данных WMT (английский и немецкий).
В MLPerf использована рекуррентная нейронная сеть для машинного перевода Google (GNMT) с набором данных WMT16.
Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

В MLPerf использована нейросеть Transformer и набор данных WMT (английский и немецкий языки).
Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

В MLPerf использована Bidirectional Encoder Representations from Transformers (BERT) и набор данных Wikipedia 2020/01/01.
Рекомендательные системы

Рекомендательные системы

В MLPerf использована модель DLRM и набор данных 1 TB Click Logs.
Обучение с подкреплением

Обучение с подкреплением

В MLPerf использована Mini Go и набор данных Go.
ПРОДУКТЫ
ТЕХНОЛОГИИ
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
МАТЕРИАЛЫ