Un gran acelerador de inferencia de IA no solo tiene que ofrecer un gran rendimiento, sino también la versatilidad para acelerar diversas redes neuronales, junto con la capacidad de programación para permitir a los desarrolladores construir nuevas. La baja latencia a un alto rendimiento al tiempo que maximiza la utilización son los requisitos de rendimiento más importantes para implementar la inferencia de manera confiable. Los Tensor Cores de NVIDIA ofrecen una gama completa de precisiones: TF32, bfloat16, FP16, INT8 e INT4, para proporcionar una versatilidad y un rendimiento inigualables.
Tensor Cores permitió a NVIDIA ganar MLPerf Inference 0.5, el primer punto referencia de referencia de inferencia en toda la industria de IA.