Новые рекорды в MLPerf

Решения NVIDIA для тренировки и инференса демонстрируют рекордную производительность в MLPerf, ведущем бенчмарке для производительности ИИ.

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Технический университет Чалмерса — это один из ведущих исследовательских институтов Швеции. Он специализируется на различных предметах: от нанотехнологий до экологии. С внедрением ИИ для усовершенствования исследований мы обнаружили, что бенчмарк  MLPerf обеспечивает прозрачное сравнение производительности на нескольких платформах. Это позволяет продемонстрировать фактическую производительность в различных реальных сценариях использования.

— Технический университет Чалмерса, Швеция

TSMC — один из крупнейших производителей полупроводников. Наш последний 5-нм техпроцесс занимает ведущее место на рынке. Такие инновации, как литография на основе машинного обучения и моделирование процесса травления, значительно улучшают коррекцию оптического приближения (OPC) и точность моделирования. Чтобы полностью реализовать потенциал машинного обучения в обучении и инференсе моделей, мы сотрудничаем с инженерами NVIDIA над переносом нашего механизма моделирования Maxwell и технологии обратной литографии (ILT) на графические процессоры. Бенчмарк MLPerf является важным фактором при принятии решений.

— Данпин Пэн (Dr. Danping Peng), директор отдела коррекции оптического приближения (OPC), TSMC, Сан-Хосе, Калифорния, США

Компьютерное зрение и визуализация лежат в основе исследований в области ИИ, способствуют научным открытиям и позволяют обеспечивать высокое качество медицинской помощи. Совместно с NVIDIA мы внедрили такие инновации, как 3DUNet, на рынок здравоохранения. Стандартные бенчмарки MLPerf предоставляют соответствующие данные о производительности для компаний и отдельных разработчиков и позволяют принять правильное решение для ускорения проектов и приложений.

— Проф. Клаус Майер-Хайн (руководитель отдела медицинской визуализации, Deutsches Krebsforschungszentrum (DKFZ, Немецкий центр исследования рака)

Компания Samsung, один из глобальных технологических лидеров, использует ИИ для значительного повышения эффективности производства и производительности продуктов. Чтобы использовать технологии ИИ при производстве электроники, нам необходима лучшая доступная вычислительная платформа. Бенчмарк MLPerf упрощает процесс отбора и предоставляет открытый единый метод оценки на всех платформах.

— Samsung Electronics

Категории тестирования MLPerf

MLPerf Training v1.0 — это четвертый бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением. 

MLPerf Inference v1.0 позволяет протестировать семь сценариев для семи разных типов нейросетей: три сценария для компьютерного зрения, один — для рекомендательных систем, два — для обработки языка и один — для медицинской визуализации.

Классификация изображений

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения. Подробнее.

Обнаружение объектов (простое)

Обнаружение объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Подробнее.

Распознавание объектов (сложное)

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Подробнее.

Сегментация биомедицинских изображений

Сегментация биомедицинских изображений

Объемная сегментация массивных 3D-изображений для медицинских сценариев использования. Подробнее.

Перевод (рекуррентная нейросеть)

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Подробнее.

Перевод (нейросеть с прямой связью)

Перевод (нейросеть с прямой связью)

Перевод текста с одного языка на другой при помощи нейронной сети с прямой связью. Подробнее.

Распознавание речи

Распознавание речи

Распознавание и расшифровка аудио в реальном времени. Подробнее.

Обработка естественного языка (NLP)

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Подробнее.

Рекомендательные системы

Рекомендательные системы

Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Подробнее.

Обучение с подкреплением

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Подробнее.

Результаты NVIDIA в бенчмарке MLPerf

  • Обучение

    Обучение

  • Инференс

    Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD установили 16 рекордов производительности обучения ИИ как для отдельного чипа, так и для общей работы коммерчески доступных систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA в производительность всего стека позволили улучшить результаты более чем в четырех направлениях MLPerf.

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ БОЛЕЕ 6,5 РАЗ В MLPERF ЗА 2,5 ГОДА

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

ПРИРОСТ ПРОИЗВОДИТЕЛЬНОСТИ БОЛЕЕ 6,5 РАЗ В MLPERF ЗА 2,5 ГОДА

NVIDIA УСТАНАВЛИВАЕТ 16 РЕКОРДОВ

Для коммерчески доступных решений

Платформа искусственного интеллекта NVIDIA установила 8 рекордов отдельного ускорителя. Все результаты получены с GPU NVIDIA A100 в OEM-серверах и NVIDIA DGX. Выдающиеся результаты в бенчмарках MLPerf позволяют продемонстрировать возможности комплексного программно-аппаратного стека NVIDIA.

  Рекорды всей системы (мин) Рекорды отдельного ускорителя (мин)
Рекомендательные системы (DLRM) 0,99 (DGX SuperPOD) 15,3 (A100)
Обработка естественного языка (BERT) 0,32 (DGX SuperPOD) 169,2 (A100)
Распознавание речи (рекуррентная нейросеть (RNN) 2,75 (DGX SuperPOD) 309,6 (A100)
Сложное обнаружение объектов (Mask R-CNN) 3,95 (DGX SuperPOD) 400,2 (A100)
Простое обнаружение объектов (SSD) 0,48 (DGX SuperPOD) 66,5 (A100)
Классификация изображений (ResNet-50 v1.5) 0,4 (DGX SuperPOD) 219,0 (A100)
Сегментация изображения (3D-Unet) 3 (DGX SuperPOD) 229,1 (A100)
Обучение с подкреплением (MiniGo) 15,53 (DGX SuperPOD) 2156,3 (A100)

NVIDIA достигла максимальных результатов  во всех сценариях (сервер дата-центра, дата-центр офлайн, однопоточные периферийные устройства, многопоточные периферийные устройства и периферийные устройства офлайн). Также компания продемонстрировала высочайшую производительность отдельного ускорителя для всех продуктов во всех тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий офлайн для дата-центра и периферийных устройств (один GPU)

  NVIDIA A100 (процессор x86)
(Число выводов/с)
NVIDIA A100 (процессор Arm)
(Число выводов/с)
NVIDIA A30
(Число выводов/с)
NVIDIA® Jetson Xavier
(Макс. число выводов/запрос)
DLRM
(Рекомендательные системы)
302 680 274 433 135 450 -*
BERT
(Обработка естественного языка)
3538 3151 1673 97
ResNet-50 v1.5
(Классификация изображений)
39 190 36 436 18 647 2039
ResNet-34
(Large Single-Shot Detector)
981 901 474 55
RNN-T
(Распознавание речи)
13 365 12 640 6574 416
3D U-Net
(Медицинская визуализация)
61 57 30 3

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям сетевого соединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийном устройстве и достичь  отличных результатов.

Оптимизированное ПО для ускорения задач ИИ

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, каталог NGC представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров приложений, в том числе для разговорного ИИ и рекомендательных систем, более 100 моделей и специализированных SDK, которые можно развернуть на локальных системах, в облаке или на границе сети. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA A30 с тензорными ядрами, GPU NVIDIA A10 с тензорными ядрами, масштабируемость и гибкость технологий сетевого соединения NVIDIA NVLink®, NVIDIA NVSwitchи NVIDIA ConnectX®-6 VPI. Они лежат в основе системы NVIDIA DGX A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

Передовая инфраструктура ИИ

Узнайте больше о производительности в задачах обучения и инференса.