NVIDIA GB200 NVL72

GB200 presenta capacidades de vanguardia y un motor de inferencia que, cuando se combina con la quinta generación de NVIDIA® NVLink, proporciona un rendimiento de inferencia de LLM 30 veces superior en tiempo real para modelos lingüísticos de varios billones de parámetros. Este avance es posible gracias a una nueva generación de Tensor Cores, que introducen nuevas precisiones FP4 de microescalado. Además, la GB200 NVL72 utiliza NVLink y refrigeración líquida para crear un único bastidor masivo de 72 GPU que puede superar los cuellos de botella en las comunicaciones.

GB200 incluye un motor transformador más rápido con precisión FP8, lo que permite un entrenamiento 4 veces más rápido para modelos lingüísticos de gran tamaño a escala. Este avance se complementa con NVLink de quinta generación, que proporciona 1,8 terabytes por segundo (TB/s) de interconexión GPU-GPU, redes InfiniBand y el software NVIDIA Magnum IO™.

Los bastidores GB200 NVL72 con refrigeración por líquido reducen la huella de carbono y el consumo energético de un centro de datos. La refrigeración por líquido aumenta la densidad de computación, reduce la superficie utilizada y facilita la comunicación entre GPU de alto ancho de banda y baja latencia con grandes arquitecturas de dominio NVLink. En comparación con la infraestructura H100 refrigerada por aire, GB200 ofrece un rendimiento 25 veces superior con la misma potencia, al tiempo que reduce el consumo de agua más de 13 veces.

Las bases de datos desempeñan un papel fundamental en la gestión, el procesamiento y el análisis de grandes volúmenes de datos para las empresas GB200 aprovecha el alto ancho de banda de NVLink-C2C y los motores de descompresión dedicados de la arquitectura NVIDIA Blackwell para acelerar 18 veces las consultas de bases de datos clave en comparación con la CPU y ofrecer un TCO 5 veces mejor.