Arquitectura NVIDIA Blackwell

Además de admitir la tecnología Transformer Engine que acelera el entrenamiento con precisiones FP8 y FP16, Blackwell presenta el nuevo motor de IA generativa. El motor de IA generativa utiliza tecnología de núcleos Tensor de Blackwell personalizadapara acelerar la inferencia de la IA generativa y los modelos de lenguaje de gran tamaño (LLM) con nuevos formatos de precisión, incluidos los formatos de microescalado (MX) definidos por la comunidad. Los formatos MXFP4, MXFP6, MXFP8 y MXINT8 del motor de IA generativa potencian la aceleración para los LLM actuales con un rendimiento mejorado gracias a las pequeñas huellas de modelo y a un mayor rendimiento que FP8 y FP16.

Para liberar todo el potencial de la computación a exaescala y los modelos de IA de billones de parámetros, es necesario que exista una comunicación rápida y sin fisuras entre todas las GPU de un clúster de servidores. La quinta generación de NVIDIA® NVLink® es una interconexión a escala vertical que libera un rendimiento acelerado para modelos de IA de billones y billones de parámetros. 

La cuarta generación de NVIDIA NVSwitch™ ofrece 130 TB/s de ancho de banda de GPU en un dominio NVLink de 72 GPU (NVL72) y ofrece una eficiencia de ancho de banda cuatro veces mayor con la compatibilidad con el Protocolo escalable de reducción y agregación jerárquica de NVIDIA (SHARP)™ FP8. Gracias a NVSwitch, el sistema de conmutadores NVIDIA  NVLink admite clústeres que van más allá de un solo servidor con la misma impresionante interconexión de 1,8 TB/s. Los clústeres multiservidor con NVLink escalan las comunicaciones de GPU en equilibrio con el aumento de la computación, por lo que NVL72 puede ofrecer 9 veces más rendimiento de GPU que un solo sistema de ocho GPU. 

Blackwell añade resiliencia inteligente con un motor dedicado de fiabilidad, disponibilidad y mantenimiento (RAS) para identificar posibles fallos que pueden ocurrir pronto para minimizar el tiempo de inactividad.  Las capacidades de gestión predictiva con tecnología de IA de NVIDIA supervisan continuamente miles de puntos de datos en hardware y software para que el estado general pueda predecir e interceptar fuentes de tiempo de inactividad e ineficiencia. Esto crea una resiliencia inteligente que ahorra tiempo, energía y costes informáticos.

El motor RAS de NVIDIA proporciona información de diagnóstico detallada que puede identificar áreas de preocupación y planificar el mantenimiento. El motor RAS reduce el tiempo de respuesta al localizar rápidamente el origen de los problemas y minimiza el tiempo de inactividad al facilitar una solución eficaz.