優れた AI 推論アクセラレータは、パフォーマンスに優れているだけでなく、さまざまなニューラル ネットワークを加速するという多様性があります。また、開発者はプログラミングで新しいニューラル ネットワークを構築できます。GPU 使用率を最大化しながら高スループットと低遅延を実現することは、AI 推論の確実な展開のために、最も重要なパフォーマンス要件となります。NVIDIA Tensor コアはあらゆる精度に対応しています。TF32、bfloat16、FP16、FP8、INT8 が与える多様性とパフォーマンスには並ぶものがありません。
Tensor コアにより、推論用ベンチマーク、MLPerf で NVIDIA が最高記録達成。