Новые рекорды в MLPerf

Решения NVIDIA для тренировки и инференса демонстрируют рекордную производительность в MLPerf, ведущем бенчмарке для производительности ИИ.

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Категории тестирования MLPerf

MLPerf Training v0.7 — это третий бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

MLPerf Inference v0.5 позволяет протестировать три сценария для пяти разных типов нейросетей. Четыре задачи в тесте для компьютерного зрения, а пятая — для перевода языков.

Классификация изображений

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения, например в беспилотных автомобилях. Узнайте больше.

Обнаружение объектов (простое)

Обнаружение объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Узнайте больше.

Распознавание объектов (сложное)

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Узнайте больше.

Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Узнайте больше.

Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

Перевод текста с одного языка на другой при помощи нейронной сети с прямой связью. Узнайте больше.

Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Узнайте больше.

Рекомендательные системы

Рекомендательные системы

Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Узнайте больше.

Обучение с подкреплением

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Узнайте больше.

Результаты NVIDIA в бенчмарке MLPerf

  • Тренировка

    Тренировка

  • Инференс

    Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD установили 16 рекордов производительности обучения ИИ как для отдельного чипа, так и для общей работы коммерчески доступных систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA в производительность всего стека позволили улучшить результаты более чем в трех направлениях MLPerf.

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ ДО 4 РАЗ В MLPERF ЗА 1,5 ГОДА

NVIDIA устанавливает 16 рекордов

Для коммерчески доступных решений

  Рекорды всей системы Рекорды отдельного ускорителя
Рекомендательные системы (DLRM) 3,33 мин 0,44 ч
Обработка естественного языка (BERT) 0,81 мин 6,53 ч
Обучение с подкреплением (MiniGo) 17,07 мин 39,96 ч
Перевод (нейросеть с прямой связью) (Transformer) 0,62 мин 1,05 ч
Перевод (рекуррентная нейросеть) (GNMT) 0,71 мин 1,04 ч
Обнаружение объектов (сложное) (Mask R-CNN) 10,46 мин 10,95 ч
Обнаружение объектов (простое) (SSD) 0,82 мин 1,36 ч
Классификация изображений (ResNet-50 v1.5) 0,76 мин 5,30 ч

NVIDIA достигает максимальных результатов во всех четырех сценариях (работа на сервере, офлайн, с одним потоком и мультипоточность). Кроме того, компания демонстрирует высочайшую производительность отдельного ускорителя для коммерчески доступных продуктов во всех пяти тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий для дата-центра и периферийных устройств

Архитектура NVIDIA Turing

  NVIDIA T4
(Инференс/с)
NVIDIA TITAN RTX
(Инференс/с)
NVIDIA Jetson Xavier
(Макс. число выводов/запрос)
MobileNet-v1 16 884 47 775 302
ResNet-50 v1.5 5193 15 008 100
SSD MobileNet-v1 7078 20 501 102
SSD ResNet-34 126 338 2
GNMT 198 645 нет

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям внутреннего соединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийном устройстве и достичь отличных результатов.

Оптимизированное ПО для ускорения задач ИИ

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, репозиторий NGC представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров приложений, в том числе для разговорного ИИ и рекомендательных систем, более 100 моделей и специализированных SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA T4 с тензорными ядрами, масштабируемость и гибкость технологий внутреннего масштабирования NVIDIA NVLink®, NVSwitch и Mellanox ConnectX-6 VPI. Эти технологии лежат в основе системы NVIDIA DGX A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

Передовая инфраструктура ИИ

Узнайте больше о производительности в задачах обучения и инференса.