Новые рекорды в MLPerf

Решения NVIDIA для тренировки и инференса демонстрируют рекордную производительность в MLPerf, ведущем бенчмарке для производительности ИИ.

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Категории тестирования MLPerf

MLPerf Training v0.7 — это третий бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

В MLPerf Inference v0.7 протестировано пять сценариев для семи разных типов нейросетей. Три задачи для компьютерного зрения, одна для рекомендательных систем, две для обработки языка и одна для медицинской визуализации.

Классификация изображений

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения, например в беспилотных автомобилях. Узнайте больше.

Обнаружение объектов (простое)

Обнаружение объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Узнайте больше.

Распознавание объектов (сложное)

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Узнайте больше.

Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Узнайте больше.

Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

Перевод текста с одного языка на другой при помощи нейронной сети с прямой связью. Узнайте больше.

Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Узнайте больше.

Рекомендательные системы

Рекомендательные системы

Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Узнайте больше.

Обучение с подкреплением

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Узнайте больше.

Результаты NVIDIA в бенчмарке MLPerf

  • Тренировка

    Тренировка

  • Инференс

    Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD установили 16 рекордов производительности обучения ИИ как для отдельного чипа, так и для общей работы коммерчески доступных систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA в производительность всего стека позволили улучшить результаты более чем в трех направлениях MLPerf.

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

NVIDIA устанавливает 16 рекордов

Для коммерчески доступных решений

  Рекорды всей системы Рекорды отдельного ускорителя
Рекомендательные системы (DLRM) 3,33 мин 0,44 ч
Обработка естественного языка (BERT) 0,81 мин 6,53 ч
Обучение с подкреплением (MiniGo) 17,07 мин 39,96 ч
Перевод (нейросеть с прямой связью) (Transformer) 0,62 мин 1,05 ч
Перевод (рекуррентная нейросеть) (GNMT) 0,71 мин 1,04 ч
Обнаружение объектов (сложное) (Mask R-CNN) 10,46 мин 10,95 ч
Обнаружение объектов (простое) (SSD) 0,82 мин 1,36 ч
Классификация изображений (ResNet-50 v1.5) 0,76 мин 5,30 ч

NVIDIA достигла максимальных результатов во всех пяти сценариях (работа на сервере дата-центра и офлайн, на периферийных устройствах с одним потоком, с мультипоточностью и офлайн). Также компания продемонстрировала высочайшую производительность отдельного ускорителя для всех продуктов во всех пяти тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий для дата-центра и периферийных устройств

Архитектура NVIDIA Turing

  NVIDIA T4
(Инференс/с)
NVIDIA A100
(Инференс/с)
NVIDIA® Jetson Xavier
(Макс. число выводов/запрос)/th>
DLRM
(Рекомендательные системы)
34,052 264,189 -
BERT
(Обработка естественного языка)
437 3,328 91
ResNet-50 v1.5
(Классификация изображений)
6,112 37,331 2,075
MobileNet-v1
(Маленькая нейросеть для распознавания)
995 6,401 2,533
ResNet-34
(Большая нейросеть для распознавания)
139 974 51
RNN-T
(Распознавание речи)
1,495 10,300 419
3D U-Net
(Медицинская визуализация)
7 42 2.3

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям внутреннего соединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийном устройстве и достичь отличных результатов.

Оптимизированное ПО для ускорения задач ИИ

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, репозиторий NGC представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров приложений, в том числе для разговорного ИИ и рекомендательных систем, более 100 моделей и специализированных SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA T4 с тензорными ядрами, масштабируемость и гибкость технологий внутреннего масштабирования NVIDIA NVLink®, NVSwitch и Mellanox ConnectX-6 VPI. Эти технологии лежат в основе системы NVIDIA DGX A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

Передовая инфраструктура ИИ

Узнайте больше о производительности в задачах обучения и инференса.