Обучение моделей ИИ для решения продвинутых задач, таких как разговорный ИИ, требует большой вычислительной мощности и масштабируемости.
Тензорные ядра в NVIDIA A30 с поддержкой Tensor Float (TF32) повышают производительность в 10 раз по сравнению с NVIDIA T4 , не требуя изменений в коде, и в 2 раза ускоряют автоматическую функцию работы с различной точностью и FP16, в общем повышая производительность до 20 раз. При объединении с NVIDIA® NVLink®, PCI Gen4, NVIDIA Mellanox® и SDK NVIDIA Magnum IO™ ускоритель A30 можно масштабировать в тысячи раз.
Тензорные ядра и MIG позволяют использовать A30 для рабочих нагрузок в течение дня. Его можно использовать для инференса при пиковом спросе, а часть GPU можно перепрофилировать для быстрой повторного обучения тех же самых моделей в часы наименьшей загрузки.
NVIDIA установила несколько рекордов производительности в отраслевом бенчмарке для обучения алгоритмов ИИ MLPerf.
Подробнее об архитектуре NVIDIA Ampere для обучения ›