Tensor Cores NVIDIA

Aceleración sin Precedentes para HPC y IA

Los Tensor Cores permiten la computación de precisión mixta, adaptando dinámicamente los cálculos para acelerar el rendimiento y preservando la precisión. La última generación amplía estas aceleraciones a una gama completa de cargas de trabajo. Desde 10 aumentos de velocidad en entrenamiento de IA con Tensor Float 32 (TF32), una nueva precisión revolucionaria, hasta 2.5 aumentos para la informática de alto rendimiento con floating point 64 (FP64), los núcleos de tensor de NVIDIA ofrecen nuevas capacidades para todas las cargas de trabajo.

Entrenamiento Revolucionario de IA

Los modelos de IA continúan explotando en complejidad a medida que asumen desafíos del siguiente nivel, como la IA de conversación precisa y los sistemas de recomendación profunda. Los modelos de IA conversacional como Megatron son cientos de veces más grandes y complejos que los modelos de clasificación de imágenes como ResNet-50. La capacitación de estos modelos masivos en precisión FP32 puede llevar días o incluso semanas. Los Tensor Cores en las GPU NVIDIA proporcionan un rendimiento de orden de magnitud más alto con precisiones reducidas como TF32 y FP16. Y con el soporte directo en marcos nativos a través de las bibliotecas NVIDIA CUDA-X^™, la implementación es automática, lo que reduce drásticamente los tiempos de entrenamiento a la convergencia mientras se mantiene la precisión.

Tensor Cores permitió a NVIDIA ganar MLPerf 0.6, el primer punto referencia de IA en toda la industria para la capacitación.

Inferencia de IA Innovadora

Un gran acelerador de inferencia de IA no solo tiene que ofrecer un gran rendimiento, sino también la versatilidad para acelerar diversas redes neuronales, junto con la capacidad de programación para permitir a los desarrolladores construir nuevas. La baja latencia a un alto rendimiento al tiempo que maximiza la utilización son los requisitos de rendimiento más importantes para implementar la inferencia de manera confiable. Los Tensor Cores de NVIDIA ofrecen una gama completa de precisiones: TF32, bfloat16, FP16, INT8 e INT4, para proporcionar una versatilidad y un rendimiento inigualables.

Tensor Cores permitió a NVIDIA ganar MLPerf Inference 0.5, el primer punto referencia de referencia de inferencia en toda la industria de IA.

HPC Avanzado

HPC es un pilar fundamental de la ciencia moderna. Para desbloquear los descubrimientos de la próxima generación, los científicos usan simulaciones para comprender mejor las moléculas complejas para el descubrimiento de fármacos, la física de las posibles fuentes de energía y los datos atmosféricos para predecir y prepararse mejor para los patrones climáticos extremos. Los Tensor Cores de NVIDIA ofrecen una gama completa de precisión, incluido FP64, para acelerar la informática científica con la mayor precisión necesaria.

NVIDIA HPC SDK es un conjunto integral de compiladores, bibliotecas y herramientas esenciales para desarrollar aplicaciones HPC para la plataforma NVIDIA.

Tensor Cores A100

Tercera Generación

La tecnología NVIDIA Tensor Core ha traído aceleraciones significativas a la IA, reduciendo los tiempos de entrenamiento de semanas a horas y proporcionando una aceleración masiva a la inferencia. La arquitectura NVIDIA Ampere proporciona un gran aumento de rendimiento y ofrece nuevas precisiones para cubrir el espectro completo requerido por los investigadores (TF32, FP64, FP16, INT8 e INT4), acelerando y simplificando la adopción de IA y extendiendo la potencia de los Tensor Cores de NVIDIA a HPC.

MÁS INFORMACIÓN SOBRE LA ARQUITECTURA NVIDIA AMPERE

TF32
FP64
FP16
INT8

Tensor Float 32

A medida que las redes de IA y los conjuntos de datos continúan expandiéndose exponencialmente, su apetito informático ha crecido de manera similar. Las matemáticas de baja precisión han traído enormes aceleraciones de rendimiento, pero históricamente han requerido algunos cambios de código. A100 trae una nueva precisión, TF32, que funciona igual que FP32 mientras ofrece aceleraciones de hasta 20 veces para IA, sin requerir ningún cambio de código.

FP64 Tensor Cores

A100 trae el poder de los Tensor Cores a HPC, proporcionando el mayor hito desde la introducción de la informática de GPU de doble precisión para HPC. Al habilitar las operaciones matriciales en la precisión FP64, toda una gama de aplicaciones HPC que necesitan matemática de doble precisión ahora puede obtener un aumento de 2.5 veces en el rendimiento y la eficiencia en comparación con las generaciones anteriores de GPU.

TENSOR CORES FP16

Los Tensor Cores A100 mejoran el FP16 para el depp learning, proporcionando una aceleración 2 veces en comparación con NVIDIA Volta™ para IA. Esto aumenta significativamente el rendimiento y reduce el tiempo de convergencia.

Precisión INT8

Introducido por primera vez en NVIDIA Turing^™, los Tensor Cores INT8 aceleran significativamente el rendimiento de la inferencia y brindan enormes aumentos en la eficiencia. INT8 en la arquitectura NVIDIA Ampere ofrece 10 veces el rendimiento comparable de Volta para implementaciones de producción. Esta versatilidad permite un rendimiento líder en la industria para cargas de trabajo de lotes altos y en tiempo real en data centers centrales y en edge.

Turing Tensor Cores

Segunda Generación

La tecnología NVIDIA Turing™ Tensor Core presenta computación de precisión múltiple para una inferencia eficiente de IA. Los Tensor Cores de Turing proporcionan una gama de precisiones para la formación e inferencia de deep learning, desde FP32 a FP16 a INT8, así como INT4, para proporcionar saltos gigantes en el rendimiento sobre las GPU NVIDIA Pascal™.

MÁS INFORMACIÓN SOBRE TURING

Volta Tensor Cores

Primera Generación

Diseñados específicamente para el deep learning, los Tensor Cores de primera generación en NVIDIA Volta™ ofrecen un rendimiento innovador con matriz de precisión mixta multiplicada en FP16 y FP32: hasta 12 veces más teraFLOPS de pico (TFLOPS) para entrenamiento y 6 TFLOPS de pico más alto para inferencia sobre NVIDIA Pascal. Esta capacidad clave permite a Volta ofrecer 3 veces más aceleraciones de rendimiento en entrenamiento e inferencia sobre Pascal.

MÁS INFORMACIÓN SOBRE VOLTA

La Plataforma de Data Center de IA y HPC Más Potente y Completa

Los Tensor Cores son componentes esenciales de la solución completa de data center NVIDIA que incorpora hardware, redes, software, bibliotecas y aplicaciones y modelos de IA optimizados de NGC^™. La plataforma de IA y HPC de extremo a extremo más potente, permite a los investigadores entregar resultados del mundo real e implementar soluciones en la producción a escala.

	NVIDIA A100	NVIDIA Turing	NVIDIA Volta
Precisiones de Tensor Core Compatibles	FP64, TF32, bfloat16, FP16, INT8, INT4, INT1	FP16, INT8, INT4, INT1	FP16
Precisiones de CUDA^® Core Compatibles	FP64, FP32, FP16, bfloat16, INT8	FP64, FP32, FP16, INT8	FP64, FP32, FP16, INT8

Explore los NVIDIA Tensor Cores

Únase a este webinar para saber qué se necesita para lograr un rendimiento óptimo en las GPU NVIDIA Tensor Core.

REGÍSTRESE EN EL WEBINAR