GPU NVIDIA A100 с тензорными ядрами

Модели ИИ становятся все более сложными, так как предназначены для таких задач нового уровня, как, например, разговорный ИИ. Для их обучения необходима значительная вычислительная мощность и масштабируемость.

Тензорные ядра в NVIDIA A100 с поддержкой Tensor Float (TF32) повышают производительность в 20 раз по сравнению с NVIDIA Volta, не требуя изменений в коде, и в 2 раза ускоряют автоматическую функцию работы с различной точностью и FP16. При объединении с NVIDIA^® NVLink^®, NVIDIA NVSwitch^™, PCI Gen4, NVIDIA^® Mellanox^® InfiniBand^®, и SDK NVIDIA Magnum IO^™ ускоритель на базе A100 можно масштабировать в тысячи раз.

Тренировочная нагрузка, такая как алгоритм BERT, может быть обработана менее чем за минуту с помощью 2048 GPU A100, что является мировым рекордом.

A100 80 ГБ располагает 1,3 ТБ объединенной памяти на узел и увеличивает пропускную способность до 3 раз, по сравнению с A100 40 ГБ, для самых больших моделей с массивными таблицами данных, например, для моделей рекомендательных системы на основе глубокого изучения (DLRM).

NVIDIA установила несколько рекордов производительности в отраслевом бенчмарке для обучения модели ИИ MLPerf.

Quantum Espresso​

Специалистам по data science необходимо анализировать, визуализировать большие наборы данных и извлекать из них ценную информацию. Но помехой для горизонтально-масштабируемых решений зачастую становится распределенность наборов данных на нескольких серверах.

Чтобы справиться с рабочими нагрузками, ускоренные серверы с A100 обеспечивают необходимую вычислительную мощность наряду с огромной памятью, пропускной способностью более 2 ТБ/с и масштабируемостью с NVIDIA^® NVLink^® и NVSwitch^™. В сочетании с InfiniBand, NVIDIA Magnum IO^™ и набором библиотек с открытым исходным кодом RAPIDS^™, включая RAPIDS Accelerator для Apache Spark для анализа данных с ускорением на GPU, платформа NVIDIA для дата-центров позволяет ускорить эти ресурсоемкие задачи, обеспечивая непревзойденную производительность и эффективность.

Во время бенчмарка анализа больших данных A100 80 ГБ передавал информацию с более высокой производительностью (в 83 раза), чем процессор, и в 2 раза более высокой производительностью, чем на A100 40 ГБ. Таким образом, он идеально подходит для рабочих нагрузок со стремительно растущими размерами наборов данных.

A100 с технологией Multi-Instance GPU (MIG) обеспечивает максимальную эффективность использования инфраструктуры с ускорением на GPU. Технология MIG позволяет разделить GPU A100 на семь отдельных инстансов и предоставить доступ к GPU большему числу пользователей. С A100 40 ГБ каждый инстанс MIG может иметь объем до 5 ГБ, а с увеличенным объемом памяти A100 80 ГБ он удваивается до 10 ГБ.

MIG работает с контейнерами Kubernetes и  виртуализацей серверов с гипервизором. MIG позволяет разработчикам инфраструктуры предлагать оптимальный размер GPU с гарантированным качеством обслуживания (QoS) для каждой задачи, повышая эффективность использования ресурсов и предоставляя доступ к ресурсам для ускоренных вычислений большему числу пользователей.