GPU NVIDIA A100 с тензорными ядрами

Масштабируемое ускорение

Ускорение важнейших задач современности

GPU NVIDIA A100 с тензорными ядрами обеспечивает непревзойденное ускорение для ИИ, анализа данных и высокопроизводительных вычислений (HPC) для решения самых сложных вычислительных задач. В качестве ядра дата-центра NVIDIA ускоритель A100 можно масштабировать до тысячи GPU, а с помощью технологии NVIDIA Multi-instance GPU (MIG) разделить на семь инстансов для ускорения задач любого масштаба. Тензорные ядра третьего поколения ускоряют операции любой точности для выполнения различных задач, позволяя получать результаты и выводить продукты на рынок быстрее.

NVIDIA A100 Технические характеристики (PDF 640 KB)

Самая производительная комплексная платформа для ИИ и HPC в дата-центре

A100 — это часть комплексного стека решений NVIDIA для дата-центров, который содержит программно-аппаратное обеспечение, сети, библиотеки, а также оптимизированные модели и приложения для ИИ из NGC™. Представляя собой самую производительную комплексную платформу для ИИ и HPC, A100 позволяет получать результаты в реальном времени и разворачивать масштабируемые решения.

Видео о создании Ampere

СМОТРЕТЬ ВИДЕО

До 6 раз выше производительность в операциях TF32 для задач тренировки моделей ИИ

Тренировка BERT

До 6 раз выше производительность в операциях TF32 для задач тренировки моделей ИИ

Производительность предварительного обучения BERT при использовании Pytorch, включая (2/3) фаза 1 и (1/3) фаза 2 | Фаза 1 длина последовательности = 128, фаза 2, длина последовательности = 512; V100: платформа NVIDIA DGX-1™ с 8 ускорителями V100, точность FP32; A100: платформа DGX A100 с 8 ускорителями A100, точность TF32.

Тренировка алгоритмов глубокого обучения

Модели ИИ становятся все более сложными, так как предназначены для таких задач, как разговорный ИИ и рекомендательные системы на базе алгоритмов глубокого обучения. Для их тренировки необходима значительная вычислительная мощность и масштабируемость.

Третье поколение Tensor Coresтензорных ядер в NVIDIA A100 с поддержкой Tensor Float (TF32) повышают производительность в 10 раз по сравнению с предыдущими решениями, не требуя изменений в коде, и в 2 раза ускоряют автоматическую функцию работы с различной точностью. При объединении с NVIDIA ® NVLink® третьего поколения, NVIDIA NVSwitch™, PCI Gen4, Mellanox InfiniBand и SDK NVIDIA Magnum IO™ ускоритель A100 можно масштабировать в тысячи раз. Это означает, что большие модели ИИ например BERT, можно обучить всего за XX минут на кластере из XX ускорителей A100, обеспечивающих непревзойденную производительность и масштабируемость.

Свое лидерство NVIDIA продемонстрировала в MLPerf 0.6, первом отраслевом бенчмарке для обучения алгоритмов ИИ.

ПОДРОБНЕЕ О A100 ДЛЯ ТРЕНИРОВКИ МОДЕЛЕЙ

Инференс глубокого обучения

A100 обеспечивает новые функции для оптимизации инференса. Решение отличается невероятной универсальностью, ускоряя широкий диапазон операций: от FP32 и FP16 до INT8 и даже INT4. Технология Multi-Instance GPU (MIG) обеспечивает работу нескольких сетей на одном GPU A100 для максимальной утилизации вычислительных ресурсов. А структурная поддержка разреженности повышает производительность до 2 раз помимо других преимуществ A100 в задачах инференса.

Как показывает MLPerf Inference 0.5, первый отраслевой бенчмарк для инференса ИИ, NVIDIA уже предоставляет самые производительные решения на рынке. A100 в 10 раз производительнее этих решений, что укрепляет лидерство компании.

ПОДРОБНЕЕ О A100 ДЛЯ ИНФЕРЕНСА

До 7 раз выше производительность в задачах инференса ИИ с технологией MIG

Инференс BERT

До 7 раз выше производительность в задачах инференса ИИ с технологией MIG

Инференс BERT | GPU NVIDIA T4 с тензорными ядрами: NVIDIA TensorRT™ (TRT) 7.1, точность = INT8, размер пакета = 256 | V100: TRT 7.1, точность = FP16, размер пакета = 256 | A100 с 7 инстансами MIG с объемом памяти 5 Гб: размер пакета = 94, точность = INT8 с разреженностью.

Прирост производительности в задачах HPC в 9 раз за 4 года

Производительность ведущих приложений для HPC

Прирост производительности в задачах HPC в 9 раз за 4 года

Среднее геометрическое значение ускорения приложений по сравнению с P100: бенчмарк: Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS  [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT Large Fine Tuner],  Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6  [Si Huge], | узел с двумя процессорами, 4 графическими ускорителями NVIDIA P100, V100 или A100.

Высокопроизводительные вычисления

Чтобы совершать новые научные открытия, ученые обращаются к моделированию и с его помощью глубже изучают сложные молекулы для создания лекарств, физические процессы — для поиска потенциальных источников энергии и атмосферные данные — для разработки точных прогнозов и подготовки к экстремальным погодным условиям.

A100 оснащен тензорными ядрами с поддержкой двойной точности, и это важнейшее достижение с момента реализации вычислений с двойной точностью на GPU для HPC. Десятичасовое моделирование с двойной точностью на GPU NVIDIA V100 с тензорными ядрами теперь можно провести за несколько часов на A100. А приложения для HPC могут до 10 раз быстрее выполнять умножение матриц с одинарной точностью, используя тензорные ядра в A100.

ПОДРОБНЕЕ О A100 ДЛЯ HPC

Высокопроизводительный анализ данных

Пользователям необходимо анализировать, визуализировать наборы данных и извлекать из них ценную информацию. Но помехой для горизонтально-масштабируемых решений зачастую становится распределенность наборов данных на нескольких серверах.

Для выполнения таких ресурсоемких задач ускоренные серверы на базе A100 обеспечивают необходимую вычислительную мощность наряду с пропускной способностью памяти 1,6 Тб/с и масштабируемостью благодаря коммутаторам NVLink и NVSwitch третьего поколения. В сочетании с Mellanox InfiniBand, SDK Magnum IO, GPU-ускоренным Spark 3.0 и набору ПО NVIDIA RAPIDS™ для GPU-ускоренного анализа данных платформа NVIDIA для дата-центров позволяет ускорить эти ресурсоемкие задачи, обеспечивая непревзойденную производительность и энергоэффективность.

ПОДРОБНЕЕ ОБ АНАЛИЗЕ ДАННЫХ
High-Performance Data Analytics

До 7 раз выше производительность в задачах инференса ИИ с технологией MIG

Инференс BERT

До 7 раз выше производительность в задачах инференса ИИ с технологией MIG

Инференс BERT | NVIDIA TensorRT™ (TRT) 7.1 | GPU NVIDIA T4 с тензорными ядрами: TRT 7.1, точность = INT8, размер пакета = 256 | V100: TRT 7.1, точность = FP16, размер пакета = 256 | A100 с 7 инстансами MIG с объемом памяти 5 Гб: размер пакета = 94, точность = INT8 с разреженностью.

Утилизация инфраструктуры

A100 с технологией Multi-Instance GPU (MIG) обеспечивает максимальную утилизацию инфраструктуры с ускорением на GPU. Технология MIG позволяет разделить GPU A100 на семь отдельных инстансов и предоставить доступ к GPU большему числу пользователей для запуска приложений и разработки решений. Более того, администраторы дата-центров могут использовать преимущества управления и эффективность виртуализации серверов с гипервизором на инстансах MIG с помощью ПО NVIDIA Virtual Compute Server (vCS). MIG позволяет более гибко распределять ресурсы GPU, чтобы разработчики могли выбрать подходящий размер GPU и достичь оптимальной утилизации.

ПОДРОБНЕЕ О MIG

GPU в дата-центре

NVIDIA A100 для HGX

NVIDIA A100 для HGX

Исключительная производительность для всех нагрузок.

NVIDIA A100 для PCIe

NVIDIA A100 для PCIe

Универсальность для всех нагрузок.

Спецификации

  NVIDIA A100 для HGX NVIDIA A100 для PCIe
Пиковая производительность для FP64 9,7 Терафлопс 9,7 Терафлопс
Пиковая производительность тензорных ядер для FP64 19,5 Терафлопс 19,5 Терафлопс
Пиковая производительность для FP32 19,5 Терафлопс 19,5 Терафлопс
Пиковая производительность тензорных ядер для TF32 156 Терафлопс | 312 Терафлопса* 156 Терафлопс | 312 Терафлопса*
Пиковая производительность тензорных ядер для BFLOAT16 312 Терафлопса | 624 Терафлопса* 312 Терафлопса | 624 Терафлопса*
Пиковая производительность тензорных ядер для FP16 312 Терафлопса | 624 Терафлопса* 312 Терафлопса | 624 Терафлопса*
Пиковая производительность тензорных ядер для INT8 624 трлн операций/с | 1248 трлн операций/с* 624 трлн операций/с | 1248 трлн операций/с*
Пиковая производительность тензорных ядер для INT4 1248 трлн операций/с | 2496 трлн операций/с* 1248 трлн операций/с | 2496 трлн операций/с*
Объем памяти 40 Гб 40 Гб
Пропускная способность памяти 1555 Гб/с 1555 Гб/с
Внутреннее соединение NVLink 600 Гбит/с**
PCIe Gen4 64 Гбит/с		 NVLink 600 Гбит/с**
PCIe Gen4 64 Гбит/с
Комбинации Multi-Instance GPU Инстансы разного размера до 7 инстансов MIG с объемом памяти 5 Гб Инстансы разного размера до 7 инстансов MIG с объемом памяти 5 Гб
Форм-фактор 4/8 SXM на NVIDIA HGX™ A100 PCIe
Максимальные требования по теплоотводу 400 Вт 250 Вт
Производительность ведущих приложений 100% 90%

* С разреженностью
** GPU SXM через серверные платы HGX A100, GPU PCIe через NVLink Bridge для конфигураций до 2 GPU

 

Инновации в архитектуре NVIDIA Ampere

Узнайте об инновациях архитектуры NVIDIA Ampere и ее реализации в GPU NVIDIA A100.

ЧИТАТЬ СТАТЬЮ
Продукты
Технологии
Материалы