Впервые реализованная в архитектуре NVIDIA Volta™ технология тензорных ядер NVIDIA значительно ускоряет инференс и позволяет обучить алгоритмы ИИ за несколько часов, а не недель. Опираясь на эти инновации, архитектура NVIDIA Ampere предоставляет поддержку операций Tensor Float 32 (TF32) и с плавающей точкой (FP64), ускоряя и упрощая внедрение ИИ и обеспечивая возможности тензорных ядер для HPC.
TF32 работает аналогично FP32 и до 20 раз ускоряет инференс ИИ, не требуя изменений в коде. А при использовании автоматической функции работы с различной точностью NVIDIA исследователи могут получить производительность в 2 раза больше в операциях FP16, что требует добавления всего одной строки кода. Благодаря поддержке операций bfloat16, INT8 и INT4 тензорные ядра в GPU с тензорными ядрами на базе архитектуры NVIDIA Ampere создают универсальный ускоритель как для тренировки ИИ, так и для инференса. Обеспечивая возможности тензорных ядер для HPC, GPU A100 и A30 позволяют выполнять матричные операции с точностью FP64 в соответствии со стандартом IEEE.