This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Бенчмарки MLPerf

Платформа ИИ NVIDIA показывает в MLPerf превосходные результаты как по обучению, так и по инференсу, демонстрируя высочайшую производительность и универсальность для решения самых ресурсоемких задач искусственного интеллекта в реальном мире.

Посмотреть результаты

Что такое MLPerf?

MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.

Технический университет Чалмерса — это один из ведущих исследовательских институтов Швеции. Он специализируется на различных предметах: от нанотехнологий до экологии. С внедрением ИИ для усовершенствования исследований мы обнаружили, что бенчмарк MLPerf обеспечивает прозрачное сравнение производительности на нескольких платформах. Это позволяет продемонстрировать фактическую производительность в различных реальных сценариях использования.

— Технический университет Чалмерса, Швеция

TSMC — один из крупнейших производителей полупроводников. Наш последний 5-нм техпроцесс занимает ведущее место на рынке. Такие инновации, как литография на основе машинного обучения и моделирование процесса травления, значительно улучшают коррекцию оптического приближения (OPC) и точность моделирования. Чтобы полностью реализовать потенциал машинного обучения в обучении и инференсе моделей, мы сотрудничаем с инженерами NVIDIA над переносом нашего механизма моделирования Maxwell и технологии обратной литографии (ILT) на графические процессоры. Бенчмарк MLPerf является важным фактором при принятии решений.

— Данпин Пэн (Dr. Danping Peng), директор отдела коррекции оптического приближения (OPC), TSMC, Сан-Хосе, Калифорния, США

Компьютерное зрение и визуализация лежат в основе исследований в области ИИ, способствуют научным открытиям и позволяют обеспечивать высокое качество медицинского обслуживания. Совместно с NVIDIA мы внедрили такие инновации, как 3DUNet, на рынок здравоохранения. Стандартные бенчмарки MLPerf предоставляют соответствующие данные о производительности для компаний и отдельных разработчиков и позволяют принять правильное решение для ускорения проектов и приложений.

— Проф. Клаус Майер-Хайн (руководитель отдела медицинской визуализации, Deutsches Krebsforschungszentrum (DKFZ, Немецкий центр исследования рака)

Компания Samsung, один из глобальных технологических лидеров, использует ИИ для значительного повышения эффективности производства и производительности продуктов. Чтобы использовать технологии ИИ при производстве электроники, нам необходима лучшая доступная вычислительная платформа. Бенчмарк MLPerf упрощает процесс отбора и предоставляет открытый единый метод оценки на всех платформах.

— Samsung Electronics

Категории тестирования MLPerf

MLPerf Training v2.0 — это шестой бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.

MLPerf Inference v2.0 позволяет протестировать семь сценариев для семи разных типов нейросетей: три сценария для компьютерного зрения, один — для рекомендательных систем, два — для обработки языка и один — для медицинской визуализации.

Классификация изображений

Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения. Подробнее.

Распознавание объектов (простое)

Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Подробнее.

Распознавание объектов (сложное)

Поиск различных объектов на изображении и создание для них пиксельной маски. Подробнее.

Сегментация биомедицинских изображений

Объемная сегментация массивных 3D-изображений для медицинских сценариев использования. Подробнее.

Перевод (рекуррентная нейросеть)

Перевод текста с одного языка на другой при помощи рекуррентной нейронной сети (RNN). Подробнее.

Распознавание речи

Распознавание и расшифровка аудио в реальном времени. Подробнее.

Обработка естественного языка (NLP)

Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Подробнее.

Обучение с подкреплением

Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Подробнее.

Результаты NVIDIA в бенчмарке MLPerf

Обучение
Инференс

GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD^™ продемонстрировали самую высокую производительность во всех тестах MLPerf как для отдельного чипа, так и для общей работы систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA во весь стек позволяли повышать производительность в каждом последующем тесте MLPerf. Платформа NVIDIA не имеет себе равных по общей производительности и универсальности, предоставляя единую платформу для обучения и инференса, которая доступна везде — от дата-центра до периферийных устройств и облака.

Прирост производительности в более чем 20 раз в MLPerf за три года

Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности

Бенчмарки MLPerf по производительности обучения

Результаты нормализованы по пропускной способности из-за более высоких требований к точности в последнем цикле MLPerf Training 2.0.
Сравнение MLPerf ID 0.5/0.7/2.0:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org .

Платформа ИИ NVIDIA обеспечивает лидирующую производительность и универсальность

Для коммерчески доступных решений

Платформа ИИ NVIDIA показала лучшую производительность в тестах MLPerf и стала единственной платформой, которая прошла все тесты бенчмарков. Это демонстрирует производительность и универсальность всего стека платформы ИИ NVIDIA для всех задач ИИ.

БЕНЧМАРК	Вся система (мин.)	Отдельный ускоритель (мин.)
Рекомендательные системы (DLRM)	0,59 (DGX SuperPOD)	12,78 (A100)
Обработка естественного языка (BERT)	0,21 (DGX SuperPOD)	126,95 (A100)
Распознавание речи — рекуррентная нейросеть (RNN-T)	2,15 (DGX SuperPOD)	230,07 (A100)
Сложное распознавание объектов (Mask R-CNN)	3,09 (DGX SuperPOD)	327,34 (A100)
Простое распознавание объектов (RetinaNet)	4,25 (DGX SuperPOD)	675,18 (A100)
Классификация изображений (ResNet-50 v1.5)	0,32 (DGX SuperPOD)	217,82 (A100)
Сегментация изображения (3D U-Net)	1,22 (DGX SuperPOD)	170,23 (A100)
Обучение с подкреплением (MiniGo)	16,23 (DGX SuperPOD)	2045,4 (A100)

Производительность отдельного ускорителя A100 рассчитывается умножением времени обучения одного узла от партнера NVIDIA на количество чипов | Для отдельных чипов по возможности сравнивается производительность аналогичных решений.
Максимальное время обучения системы: DLRM: 2.0-2098 | BERT: 2.0-2106 | Mask R-CNN: 2.0-2099 | ResNet-50 v1.5: 2.0-2107 | RetinaNet: 2.0-2103 | RNN-T: 2.0-2104 | 3D U-Net: 2.0-2100 | MiniGo: 2.0-2105
Время обучения отдельного ускорителя: DLRM: 2.0-2068 | BERT: 2.0-2070 | Mask R-CNN: 2.0-207 | ResNet-50 v1.5: 2.0-2069 | RetinaNet: 2.0-2091 | RNN-T: 2.0-2066 | 3D U-Net: 2.0-2060 | MiniGo: 2.0-2105
Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.

NVIDIA достигла максимальных результатов во всех сценариях (сервер дата-центра, дата-центр офлайн, однопоточные периферийные устройства, многопоточные периферийные устройства и периферийные устройства офлайн). Также компания продемонстрировала высочайшую производительность отдельного ускорителя для всех продуктов во всех тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.

Сценарий офлайн для дата-центра и периферийных устройств (один GPU)

	NVIDIA A100 (процессор x86) (Инференс/с)	NVIDIA A100 (процессор Arm) (Инференс/с)	NVIDIA A30 (Инференс/с)	NVIDIA^® Jetson AGX Orin^™ (Макс. число инференсов/запрос)
DLRM (Рекомендательные системы)	312 380	281 283	138 194	-*
BERT (Обработка естественного языка)	3490	3149	1668	476
ResNet-50 v1.5 (Классификация изображений)	39 190	36 487	18 406	6139
ResNet-34 (Большая нейросеть Single-Shot Detector)	990	906	478	208
RNN-T (Распознавание речи)	13 344	13 188	6 557	1110
3D U-Net (Медицинская визуализация)	3	3	2	0,5

*DLRM не входит в категорию периферийных устройств.

1) Результаты инференса в MLPerf v2.0 для форм-факторов серверов дата-центра и сценария офлайн взяты с сайта www.mlperf.org (данные Inf-2.0-094, Inf-2.0-077 и Inf-2.0-090 за 6 апреля 2022 года). Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.

2) Результаты инференса MLPerf v1.0 для периферийных устройств и сценария офлайн взяты с сайта www.mlperf.org (данные 2.0-140 за 6 апреля 2022 года). Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.

Технологии для рекордных результатов

Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям межсоединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийных устройствах и достичь отличных результатов.

Предварительно обученные модели и оптимизированное ПО из NVIDIA NGC

Оптимизированное ПО для ускорения задач ИИ

Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, каталог NGC^™ представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров корпоративного класса, в том числе задачи для разговорного ИИ и рекомендательных систем, сотни моделей ИИ и отраслевые SDK, которые можно развернуть на локальных системах, в облаке или на периферийных устройствах. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.

Посмотрите каталог NGC

Передовая инфраструктура ИИ

Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA A30 с тензорными ядрами, GPU NVIDIA A2 с тензорными ядрами, модуля Jetson AGX Orin и масштабируемость и гибкость технологий межсоединений NVIDIA NVLink^®, NVIDIA NVSwitch^™ и NVIDIA ConnectX^®-6 VPI. Они лежат в основе системы NVIDIA DGX™ A100, обеспечившей рекорд производительности в бенчмарке.

Системы NVIDIA DGX^™ обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.

ПОДРОБНЕЕ

Узнайте больше о производительности в задачах обучения и инференса.

Данные о производительности

Бенчмарки MLPerf

Что такое MLPerf?