NVIDIA Blackwell Architecture

El motor transformador de segunda generación utiliza tecnología de núcleos Tensor de Blackwell personalizada combinada con las innovaciones de NVIDIA® TensorRT™-LLM y NeMo™ Framework para acelerar la inferencia y el entrenamiento para modelos lingüísticos de gran tamaño (LLM) y modelos de mezcla de expertos (MoE).

Para potenciar la inferencia de los modelos MoE, los Tensor Cores de Blackwell añaden nuevas precisiones, incluidos los formatos de microescalado definidos por la comunidad, lo que proporciona una mayor precisión y facilidad de sustitución para precisiones superiores. El motor transformador Blackwell utiliza técnicas de escalado de grano fino llamadas escalado micro-tensor, para optimizar el rendimiento y la precisión, lo que permite una IA de punto flotante de 4 bits (FP4). Esto duplica el rendimiento y el tamaño de los modelos de próxima generación que la memoria puede admitir mientras se mantiene una alta precisión.

Para liberar todo el potencial de la computación a exaescala y los modelos de IA con billones de parámetros, es necesario que exista una comunicación rápida y sin fisuras entre todas las GPU de un clúster de servidores. La quinta generación de la interconexión de NVIDIA® NVLink® puede escalar hasta 576 GPU para liberar un rendimiento acelerado para modelos de IA con billones y billones de parámetros. 

El NVIDIA NVLink Switch Chip ofrece 130 TB/s de ancho de banda de GPU en un dominio NVLink de 72 GPU (NVL72) y ofrece una eficiencia de ancho de banda cuatro veces mayor con la compatibilidad con el Protocolo escalable de reducción y agregación jerárquica de NVIDIA (SHARP)™ FP8. El NVIDIA  NVLink Switch Chip admite clústeres que van más allá de un solo servidor con la misma impresionante interconexión de 1,8 TB/s. Los clústeres multiservidor con NVLink escalan las comunicaciones de GPU en equilibrio con el aumento de la computación, por lo que NVL72 puede ofrecer 9 veces más rendimiento de GPU que un solo sistema de ocho GPU. 

Blackwell añade resiliencia inteligente con un motor dedicado de fiabilidad, disponibilidad y mantenimiento (RAS) para identificar posibles fallos que pueden ocurrir pronto para minimizar el tiempo de inactividad. Las capacidades de gestión predictiva con tecnología de IA de NVIDIA supervisan continuamente miles de puntos de datos en hardware y software para que el estado general pueda predecir e interceptar fuentes de tiempo de inactividad e ineficiencia. Esto crea una resiliencia inteligente que ahorra tiempo, energía y costes informáticos.

El motor RAS de NVIDIA proporciona información de diagnóstico detallada que puede identificar áreas de preocupación y planificar el mantenimiento. El motor RAS reduce el tiempo de respuesta localizando rápidamente el origen de los problemas, y minimiza el tiempo de inactividad facilitando una solución eficaz.