Arquitectura NVIDIA Blackwell

El Transformer Engine de segunda generación utiliza la tecnología Blackwell Tensor Core personalizada combinada con las innovaciones NVIDIA® TensorRT™LLM y Framework NeMo™ para acelerar la inferencia y el entrenamiento para grandes modelos de lenguajes (LLM) y modelos de mezcla de expertos (MoE).

Para potenciar la inferencia de los modelos MoE, Blackwell Tensor Cores agrega nuevas precisiones, incluidos nuevos formatos de microescala definidos por la comunidad, lo que brinda alta precisión y facilidad de reemplazo para precisiones mayores. Transformer Engine de Blackwell utiliza técnicas de escalado de grano fino llamadas escalado de microtensor, para optimizar el rendimiento y la precisión, permitiendo la IA de punto flotante de 4 bits (FP4). Esto duplica el rendimiento y el tamaño de los modelos de próxima generación que la memoria puede admitir manteniendo una alta precisión.

Liberar todo el potencial de la computación a exaescala y los modelos de IA de billones de parámetros depende de la necesidad de una comunicación rápida y fluida entre cada GPU dentro de un clúster de servidores. La quinta generación de NVIDIA® NVLink ® es una interconexión ampliada que libera un rendimiento acelerado para modelos de IA con parámetros de billones y multimillonarios.

La cuarta generación de NVIDIA NVSwitch ™ permite 130TB/s de ancho de banda de GPU en un dominio NVLink de 72 GPU (NVL72) y ofrece 4 veces la eficiencia del ancho de banda con compatibilidad con NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8. Al utilizar NVSwitch , el sistema de switch NVIDIA NVLink admite clústeres más allá de un único servidor con la misma impresionante interconexión de 1,8TB/s. Los clústeres de servidores múltiples con NVLink escalan las comunicaciones de GPU en equilibrio con el aumento de la computación, por lo que NVL72 puede admitir 9 veces el rendimiento de GPU que un solo sistema de ocho GPU.

Blackwell agrega resiliencia inteligente con un motor de confiabilidad, disponibilidad y capacidad de servicio (RAS) dedicado para identificar fallas potenciales que pueden ocurrir desde el principio para minimizar el tiempo de inactividad. Las capacidades de gestión predictiva impulsadas por IA de NVIDIA monitorean continuamente miles de puntos de datos en hardware y software para verificar el estado general y predecir e interceptar fuentes de tiempo de inactividad e ineficiencia. Esto genera una resiliencia inteligente que ahorra tiempo, energía y costos de computación.

El motor RAS de NVIDIA proporciona información de diagnóstico detallada que puede identificar áreas de preocupación y planificar el mantenimiento. El motor RAS reduce el tiempo de respuesta al localizar rápidamente el origen de los problemas y minimiza el tiempo de inactividad al facilitar una solución eficaz.