NVIDIA Blackwell 아키텍처

FP8(8비트 부동점) 및 FP16(16비트 부동점) 정밀도로 교육을 가속화하는 트랜스포머 엔진 기술을 지원하는 것 외에도 Blackwell은 새로운 생성형 AI 엔진을 도입합니다. 생성형 AI 엔진은 NVIDIA® TensorRT™-LLM 및 NeMo™ Framework 혁신과 결합된 맞춤형 Blackwell Tensor 코어 기술을 사용하여 거대 언어 모델(LLM) 및 전문가 혼합(MoE) 모델의 추론 및 교육을 가속화합니다.

Blackwell Tensor 코어는 대규모 MoE 모델의 추론을 강화하기 위해 새로운 커뮤니티 정의 마이크로스케일링 형식을 포함한 새로운 정밀도를 추가하여 높은 정밀도를 위한 보다 높은 정확도와 간편한 교체를 제공합니다. Blackwell Transformer 엔진은 마이크로 텐서 스케일링이라는 세분화된 스케일링 기술을 활용하여 성능과 정확도를 최적화함으로써 4비트 부동 소수점(FP4) AI를 구현합니다. 이를 통해 메모리가 지원할 수 있는 차세대 모델의 성능과 크기를 두 배로 늘리면서도 높은 정확도를 유지할 수 있습니다.

엑사스케일 컴퓨팅과 매개 변수가 조 단위인 AI 모델의 잠재력을 최대한 활용하려면 서버 클러스터 내의 모든 GPU 간에 빠르고 원활한 통신이 필요합니다. 5세대 NVIDIA® NVLink® 인터커넥트는 최대 576개의 GPU로 확장되어 매개 변수가 수조 및 수조 조에 달하는 AI 모델의 성능을 가속화할 수 있습니다.

NVIDIA NVLink 스위치 칩은 하나의 72-GPU NVLink 도메인(NVL72)에서 130TB/s의 GPU 대역폭을 구현하며, NVIDIA 확장 가능한 계층적 집계 및 감소 프로토콜(SHARP)™ FP8 지원으로 4배의 대역폭 효율성을 달성합니다. 또한 1.8TB/s의 놀라운 상호 연결 속도로 단일 서버 이상의 클러스터를 지원하고 있습니다. NVLink를 사용하는 멀티 서버 클러스터는 컴퓨팅 증가와 균형을 맞춰 GPU 통신을 확장하므로 NVL72는 단일 8-GPU 시스템보다 9배의 GPU 처리량을 처리합니다.

Blackwell은 발생할 수 있는 잠재적인 결함을 조기에 식별하여 가동 중단 시간을 최소화하기 위해 전용 RAS(신뢰성, 가용성, 서비스 용이성) 엔진으로 지능형 복원력을 추가합니다. NVIDIA의 AI 기반 예측 관리 기능은 하드웨어 및 소프트웨어 전반에서 수천 개의 데이터 포인트를 지속적으로 모니터링하여 전반적인 상태를 파악함으로써 가동 중단 시간과 비효율성의 원인을 예측하고 개입합니다. 이를 통해 시간, 에너지 및 컴퓨팅 비용을 절감하는 지능형 복원력을 구축할 수 있습니다.

NVIDIA의 RAS 엔진은 우려되는 영역을 식별하고 유지 관리를 계획할 수 있는 심층 진단 정보를 제공합니다. RAS 엔진은 문제의 원인을 신속하게 파악하여 소요 시간을 단축하고 효과적인 해결을 촉진하여 가동 중단 시간을 최소화합니다.