Inizialmente introdotta nell'architettura NVIDIA Volta™, la tecnologia NVIDIA Tensor Core ha generato accelerazioni significative nell'IA, riducendo i tempi di training da settimane a ore e garantendo massima accelerazione per l'inferenza. L'architettura NVIDIA Ampere si basa su queste innovazioni e aggiunge nuove precisioni, Tensor Float (TF32) e virgola mobile a 64 (FP64), per accelerare e semplificare l'adozione dell'IA ed estendere la potenza dei Tensor Core all'HPC.
La precisione TF32 funziona esattamente come la FP32 con velocità fino a 10 volte superiori per l'IA senza alcuna variazione del codice. Con la funzionalità NVIDIA Automatic Mixed Precision, i ricercatori guadagnano prestazioni 2 volte superiori aggiungendo solo un'altra riga di codice. E con il supporto per bfloat16, INT8 e INT4, i Tensor Core nelle GPU NVIDIA A100 Tensor Core creano un acceleratore incredibilmente versatile per il training con IA e l'inferenza. Portando la potenza dei Tensor Core nell'HPC, A100 consente anche l'esecuzione di operazioni in matrice complete, conformi allo standard IEEE e con precisione FP64.