Новые рекорды в MLPerf

Решения NVIDIA для тренировки и инференса демонстрируют рекордную производительность в MLPerf, ведущем бенчмарке для производительности ИИ.

Посмотреть результаты

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Технический университет Чалмерса — это один из ведущих исследовательских институтов Швеции. Он специализируется на различных предметах: от нанотехнологий до экологии. С внедрением ИИ для усовершенствования исследований мы обнаружили, что бенчмарк  MLPerf обеспечивает прозрачное сравнение производительности на нескольких платформах. Это позволяет продемонстрировать фактическую производительность в различных реальных сценариях использования.

— Технический университет Чалмерса, Швеция

TSMC — один из крупнейших производителей полупроводников. Наш последний 5-нм техпроцесс занимает ведущее место на рынке. Такие инновации, как литография на основе машинного обучения и моделирование процесса травления, значительно улучшают коррекцию оптического приближения (OPC) и точность моделирования. Чтобы полностью реализовать потенциал машинного обучения в обучении и инференсе моделей, мы сотрудничаем с инженерами NVIDIA над переносом нашего механизма моделирования Maxwell и технологии обратной литографии (ILT) на графические процессоры. Бенчмарк MLPerf является важным фактором при принятии решений.

— Данпин Пэн (Dr. Danping Peng), директор отдела коррекции оптического приближения (OPC), TSMC, Сан-Хосе, Калифорния, США

Компьютерное зрение и визуализация лежат в основе исследований в области ИИ, способствуют научным открытиям и позволяют обеспечивать высокое качество медицинской помощи. Совместно с NVIDIA мы внедрили такие инновации, как 3DUNet, на рынок здравоохранения. Стандартные бенчмарки MLPerf предоставляют соответствующие данные о производительности для компаний и отдельных разработчиков и позволяют принять правильное решение для ускорения проектов и приложений.

— Проф. Клаус Майер-Хайн (руководитель отдела медицинской визуализации, Deutsches Krebsforschungszentrum (DKFZ, Немецкий центр исследования рака)

Компания Samsung, один из глобальных технологических лидеров, использует ИИ для значительного повышения эффективности производства и производительности продуктов. Чтобы использовать технологии ИИ при производстве электроники, нам необходима лучшая доступная вычислительная платформа. Бенчмарк MLPerf упрощает процесс отбора и предоставляет открытый единый метод оценки на всех платформах.

— Samsung Electronics

Категории тестирования MLPerf

MLPerf Training v1.0 — это четвертый бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

MLPerf Inference v1.0 позволяет протестировать семь сценариев для семи разных типов нейросетей: три сценария для компьютерного зрения, один — для рекомендательных систем, два — для обработки языка и один — для медицинской визуализации.

Классификация изображений

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения. Подробнее.

Обнаружение объектов (простое)

Обнаружение объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Подробнее.

Распознавание объектов (сложное)

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Подробнее.

Сегментация биомедицинских изображений

Сегментация биомедицинских изображений

Объемная сегментация массивных 3D-изображений для медицинских сценариев использования. Подробнее.

Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Подробнее.

Распознавание речи

Распознавание речи

Распознавание и расшифровка аудио в реальном времени. Подробнее.

Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Подробнее.

Рекомендательные системы

Рекомендательные системы

Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Подробнее.

Обучение с подкреплением

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Подробнее.

Результаты NVIDIA в бенчмарке MLPerf

  • Обучение

    Обучение

  • Инференс

    Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD™ установили 16 рекордов производительности обучения ИИ как для отдельного чипа, так и для общей работы систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA в производительность всего стека позволили улучшить результаты более чем в четырех направлениях MLPerf. Единая платформа NVIDIA показывает отличные результаты производительности и удобства использования по всей инфраструктуре: от периферийных устройств до дата-центра и облака.

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ БОЛЕЕ 20 РАЗ В MLPERF ЗА 3 ГОДА

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

Бенчмарки MLPerf по производительности обучения

Результаты нормализированы по пропускной способности из-за более высоких требований к точности в последнем цикле MLPerf 1.1
Сравнение MLPerf ID 0.5/0.7/1.1:
SSD: 0.5-23/0.7-53/1.1-2078 | BERT: 0.7-56/1.1-2083 | ResNet50v1.5: 0.5-17/0.7-55/1.1-2082 | Mask R-CNN: 0.5-22/0.7-48/1.1-2076 | Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA УСТАНАВЛИВАЕТ 16 РЕКОРДОВ

Для коммерчески доступных решений

Платформа искусственного интеллекта NVIDIA установила 8 рекордов отдельного ускорителя. Все результаты получены с GPU NVIDIA A100 в OEM-серверах и NVIDIA DGX. Выдающиеся результаты в бенчмарках MLPerf позволяют продемонстрировать возможности комплексного программно-аппаратного стека NVIDIA.

БЕНЧМАРК Рекорды всей системы (мин) Рекорды отдельного ускорителя (мин)
Рекомендательные системы (DLRM) 0,63 (DGX SuperPOD) 13,5 (A100)
Обработка естественного языка (BERT) 0,24 (DGX SuperPOD) 155,1 (A100)
Распознавание речи (рекуррентная нейросеть (RNN) 2,38 (DGX SuperPOD) 267,0 (A100)
Сложное обнаружение объектов (Mask R-CNN) 3,24 (DGX SuperPOD) 335,1 (A100)
Простое обнаружение объектов (SSD) 0,45 (DGX SuperPOD) 63,8 (A100)
Классификация изображений (ResNet-50 v1.5) 0,35 (DGX SuperPOD) 220,5 (A100)
Сегментация изображения (3D-Unet) 1,26 (Microsoft Azure NDm A100 v4) 187,7 (A100)
Обучение с подкреплением (MiniGo) 15,47 (DGX SuperPOD) 1805,2 (A100)

Производительность отдельного ускорителя A100 рассчитывается умножением времени обучения одного узла на количество чипов | Для отдельных чипов по возможности сравнивается производительность аналогичных решений.
Рекорды всей системы: DLRM: 1.1-2073  |  BERT: 1.1-2083  |  Mask R-CNN: 1.1-2076  |  Resnet50 v1.5: 1.1-2082  |  SSD: 1.1-2078  |  RNN-T: 1.1-2080  |  3D-Unet: 1.1-2012  |  MiniGo: 1.1-2081
Рекорды отдельного ускорителя: DLRM: 1.1-2084  |  BERT: 1.1-2053  |  Mask R-CNN: 1.1-2031  |  Resnet50 v1.5: 1.1-2050  |  SSD: 1.1-2050  |  RNN-T: 1.1-2052  |  3D-Unet: 1.1-2051  |  MiniGo: 1.1-2031
Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA достигла максимальных результатов  во всех сценариях (сервер дата-центра, дата-центр офлайн, однопоточные периферийные устройства, многопоточные периферийные устройства и периферийные устройства офлайн). Также компания продемонстрировала высочайшую производительность отдельного ускорителя для всех продуктов во всех тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий офлайн для дата-центра и периферийных устройств (один GPU)

  NVIDIA A100 (процессор x86)
(Число выводов/с)		 NVIDIA A100 (процессор Arm)
(Число выводов/с)		 NVIDIA A30
(Число выводов/с)		 NVIDIA® Jetson Xavier™
(Макс. число выводов/запрос)
DLRM
(Рекомендательные системы)		 302 680 274 433 135 450 -*
BERT
(Обработка естественного языка)		 3538 3151 1673 97
ResNet-50 v1.5
(Классификация изображений)		 39 190 36 436 18 647 2039
ResNet-34
(Large Single-Shot Detector)		 981 901 474 55
RNN-T
(Распознавание речи)		 13 365 12 640 6574 416
3D U-Net
(Медицинская визуализация)		 61 57 30 3

*DLRM не входит в категорию периферийных устройств

1) Результаты инференса в MLPerf v1.1 Inference в сценариях сервер дата-центра и дата-центр офлайн взяты с сайта www.mlperf.org за 22 сентября 2021 года, данные Inf-1.1-047, Inf-1.1-43, Inf-1.1-023-026. Производительность отдельного процессора рассчитана делением первого показателя общей производительности на число ускорителей.

2) Результаты инференса в MLPerf v1.1 Inference в сценариях однопоточные периферийные устройства, многопоточные периферийные устройства, периферийные устройства офлайн взяты с сайта www.mlperf.org за сентябрь 2021 года, данные 1.1-117. Производительность отдельного процессора рассчитана делением первого показателя общей производительности на число ускорителей.

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям сетевого соединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийном устройстве и достичь  отличных результатов.

Предварительно обученные модели и оптимизированное ПО из NVIDIA NGC

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, каталог NGC™ представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров приложений, в том числе для разговорного ИИ и рекомендательных систем, более 100 моделей и специализированных SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

ПЕРЕЙТИ В NGC

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA A30 с тензорными ядрами, GPU NVIDIA A2 с тензорными ядрами, масштабируемость и гибкость технологий сетевого соединения NVIDIA NVLink®, NVIDIA NVSwitch™и NVIDIA ConnectX®-6 VPI. Они лежат в основе системы NVIDIA DGX™ A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX™ обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

ПОДРОБНЕЕ
GPU NVIDIA с тензорными ядрами

Узнайте больше о производительности в задачах обучения и инференса.

Данные о производительности >
Классификация изображений

Классификация изображений

В MLPerf Training and Inference использована нейросеть ResNet v1.5 с набором данных ImageNet.
В MLPerf Inference использованы нейросети ResNet-50 v. 1.5 и MobileNet-v1 с набором данных ImageNet.
Обнаружение объектов (простое)

Обнаружение объектов (простое)

В MLPerf Training использована архитектура Single-Shot Detector (SSD) и набор данных COCO 2017.
В MLPerf Inference использована нейросеть SSD-MobileNet-v1 (низкое разрешение 0,09 МП) с набором данных COCO 2017.
Распознавание объектов (сложное)

Распознавание объектов (сложное)

В MLPerf Training использована Mask R-CNN с набором данных COCO 2014.
В MLPerf Inference использована нейросеть SSD-ResNet-34 (высокое разрешение 1,44 МП) с набором данных COCO 2014.
Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

В MLPerf использована система машинного перевода Google (GNMT) с набором данных WMT (английский и немецкий).
В MLPerf использована рекуррентная нейронная сеть для машинного перевода Google (GNMT) с набором данных WMT16.
Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

В MLPerf использована нейросеть Transformer и набор данных WMT (английский и немецкий языки).
В MLPerf Inference протестирована скорость распознавания речи с использованием нейросети RNN-T и набора данных LibriSpeech.
Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

В MLPerf Training использована нейросеть BERT и набор данных Wikipedia 2020/01/01.
В MLPerf Inference использована нейросеть BERT с набором данных SQuAD v.1.1.
Рекомендательные системы

Рекомендательные системы

В MLPerf Training and Inference использована модель DLRM и набор данных Criteo 1 TB.
В MLPerf Inference использована нейросеть DLRM с набором данных Criteo Terabyte.
Обучение с подкреплением

Обучение с подкреплением

В MLPerf Training использована игра Mini Go.
Распознавание речи

Распознавание речи

В MLPerf Training and Inference использована RNN-T с набором данных Librispeech.
Сегментация биомедицинских изображений

Сегментация биомедицинских изображений

В MLPerf Training and Inference использована UNet-3D с наборами данных KiTS19 и BraTS 2019.

Продукты

Технологии

Программное Обеспечение

Материалы