NVIDIA HGX A100

Самая производительная комплексная платформа для задач ИИ

Специально разработана для конвергенции систем моделирования, анализа данных и ИИ

Огромные наборы данных, большие модели и сложное моделирование требуют нескольких GPU с высокоскоростным соединением. Платформа NVIDIA HGX™ обеспечивает все возможности GPU NVIDIA, NVIDIA® NVLink®, NVIDIA Mellanox® Infiniband® а также полностью оптимизированного программного стека NVIDIA для ИИ и HPC из каталога NGC™ для максимальной производительности приложений. Благодаря комплексной производительности и гибкости NVIDIA HGX позволяет исследователям и ученым объединять моделирование, анализ данных и ИИ для успеха научных исследований.

Платформа для непревзойденного ускорения вычислений

NVIDIA HGX A100 объединяет в себе GPU NVIDIA A100 с тензорными ядрами, соединенных высокоскоростным интефейсом, и позволяет строить самые производительные серверы. Благодаря GPU A100 80GB один HGX A100 имеет до 1.3 ТБ памяти GPU и более 2 терабайт в секунду (ТБ/с) пропускной способности памяти, обеспечивая беспрецедентное ускорение.

HGX A100 обеспечивает ускорение ИИ до 20 раз по сравнению с предыдущими поколениями с помощью Tensor Float 32 (TF32) и ускорению HPC до 2,5 раз с FP64. Полностью протестированная, простая в развертывании системная плата HGX A100 интегрируется в серверы партнеров для обеспечения надежной производительности. Конфигурация HGX A100 с 16 GPU позволяет достичь невероятных 10 петафлопс, что делает ее самой производительной серверной платформой для ИИ и HPC.

Техническое описание NVIDIA HGX A100 (PDF, 418 КБ)

NVIDIA HGX A100 на базе 8 GPU

NVIDIA HGX A100 на базе 8 GPU

NVIDIA HGX A100 на базе 4 GPU

NVIDIA HGX A100 на базе 4 GPU

задачах глубокого обучения

До 3 раз улучшенное обучение ИИ на самых крупных моделях

Обучение DLRM

До 3 раз улучшенное обучение ИИ на самых крупных моделях

DLRM на фреймвоке HugeCTR, точность = FP16 | NVIDIA A100 80GB размер пакета = 48 | NVIDIA A100 40GB размер пакета = 32 | NVIDIA V100 32GB размер пакета = 32.

Модели глубокого обучения становятся больше и сложнее и требуют систему с большим объемом памяти, вычислительной мощностью и быстрыми соединениями для масштабируемости. Благодаря NVIDIA® NVSwitch для быстрой всесторонней коммуникации между GPU платформа HGX A100 обеспечивает возможности для самых продвинутых моделей ИИ. С GPU A100 80GB память GPU удваивается, обеспечивая до 1,3 ТБ памяти в одном HGX A100. Нагрузки на самых больших моделях, таких как модели глубокого обучения (DLRM) с массивными таблицами данных, ускоряются в 3 раза по сравнению с HGX на GPU A100 40GB.

Производительность в задачах машинного обучения

До 83 раз быстрее, чем процессор, в 2 раза быстрее, чем A100 40GB по результатам бенчмарка анализа больших данных

До 83 раз быстрее, чем процессор, в 2 раза быстрее, чем A100 40GB по результатам бенчмарка анализа больших данных

Бенчмарк анализа больших данных | 30 запросов analytical retail, ETL, машинное обучение, обработка естественного языка на наборе данных 10 TБ | Процессор: Intel Xeon Gold 6252 с тактовой частотой 2,10 ГГц, Hadoop | DGX-1 V100 32GB, RAPIDS/Dask | A100 40GB и A100 80GB, RAPIDS/Dask/BlazingSQL

Для достижения результатов моделям машинного обучения необходимо загружать, трансформировать и обрабатывать чрезвычайно крупные наборы данных. Благодаря до 1,3 TБ единой памяти и всесторонней коммуникации GPU с технологией NVSwitch платформа HGX A10 на базе GPU A100 80GB может загружать большие наборы данных и производить над ними вычисления, мгновенно получая практические результаты.

Во время бенчмарка анализа больших данных A100 80GB передавал информацию с более высокая производительность до 83 раз ,чем CPU и до 2 раз более высокая производительность, чем на A100 40GB, таким образом, он идеально подходит для рабочих нагрузок со стремительно растущими размерами наборов данных.

Производительность в задачах HPC

HPC-приложения должны выполнять огромные объемы вычислений в секунду. Повышение вычислительной плотности каждого узла значительно сокращает число требуемых серверов, что приводит к серьезной экономии расходов, электроэнергии и пространства в дата-центре. Перемножение матриц большой размерности для моделирования требует постоянной передачи данных между множеством соседних процессоров, что делает конфигурацию GPU, объединенных интерфейсом NVIDIA NVLink, идеальным решением. Приложения для высокопроизводительных вычислений также могут использовать TF32 в A100 для достижения до 11 раз большей пропускной способности за четыре года для точных операций.

HGX A100 на базе GPU A100 80GB обеспечивает увеличение пропускной способности в 2 раза по сравнению с A100 40GB на Quantum Espresso - симуляторе материалов, ускоряющим передачу данных.

В 11 раз большая производительности в HPC за четыре года

Топ приложение HPC​

В 11 раз большая производительности в HPC за четыре года

Среднее геометрическое значение ускорения приложений по сравнению с P100: бенчмарк: Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS  [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner],  Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6  [Si Huge], | узел с двумя процессорами, 4 графическими ускорителями NVIDIA P100, V100 или A100.

Повышение производительности до 1,8 х для HPC приложений

Quantum Espresso​

Повышение производительности до 1,8 х для HPC приложений

Quantum Espresso измерен с помощью набора данных CNT10POR8, точность = FP64.

Спецификации HGX A100

HGX A100 поставляется в виде отдельных плат с 4 или 8 GPU A100. В конфигурации с 4 GPU ускорители объединены интерфейсом NVLink, а в конфигурации с 8 GPU — коммутатором NVSwitch. Две платы NVIDIA HGX™ A100 с 8 GPU можно объединить с помощью технологии внутреннего соединения NVSwitch, чтобы создать единый узел с 16 GPU.

4-GPU 8-GPU 16-GPU
Графические процессоры 4x NVIDIA A100 8x NVIDIA A100 16x NVIDIA A100
Вычисления для ИИ/HPC FP64/TF32*/FP16*/INT8* 78TF/1.25PF*/2.5PF*/5POPS* 156TF/2.5PF*/5PF*/10POPS* 312TF/5PF*/10PF*/20POPS*
Память До 320 Гбайт До 640 ГБ До 1,280 ГБ
NVIDIA NVLink Третьего поколения Третьего поколения Третьего поколения
NVIDIA NVSwitch нет Второго поколения Второго поколения
NVIDIA Пропускная способность между GPU нет 600 Гбит/с 600 Гбит/с
Общая пропускная способность 2,4 Тбит/с 4,8 Тбит/с 9,6 Тбит/с

* С разреженностью

Референсные архитектуры HGX-1 и HGX-2

На базе GPU NVIDIA и NVLINK

NVIDIA HGX-1 и HGX-2 — это референсные архитектуры, которые стали стандартом проектирования дата-центров для ускорения ИИ и HPC. Референсные архитектуры HGX основаны на NVIDIA V100 в форм-факторе SXM2, объединенных технологиями NVLink и NVSwitch, и имеют модульную конструкцию, которая оптимально подходит для гипермасштабируемых и гибридных дата-центров. Обеспечивая производительность 2 петафлопса, архитектуры предоставляют простой путь к ускорению ИИ и HPC.

На базе GPU NVIDIA и NVLINK

Спецификации

HGX-1
с 8 GPU   		HGX-2
с 16 GPU  
Графические процессоры 8x NVIDIA V100 16x NVIDIA V100
Производительность в вычислениях ИИ 1 петафлопс (в операциях FP16) 2 петафлопса (в операциях FP16)
Память 256 Гб 512 Гб
NVLink Второго поколения Второго поколения
NVSwitch Нет Да
NVSwitch GPU-to-GPU Bandwidth Нет 300 Гбит/с
Общая пропускная способность 2,4 Тбит/с 4,8 Тбит/с

Инновации в архитектуре NVIDIA Ampere

Прочитайте статью и узнайте об инновациях архитектуры NVIDIA Ampere и ее реализации в GPU NVIDIA A100.

Читать в блоге
ПРОДУКТЫ
ТЕХНОЛОГИИ
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
МАТЕРИАЛЫ