NVIDIA Blackwell 아키텍처

2세대 트랜스포머 엔진은 맞춤형 NVIDIA Blackwell Tensor 코어 기술과 TensorRT™-LLM 및 NeMo™ 프레임워크 혁신 기술을 결합한 거대 언어 모델(LLM)과 전문가 혼합(MoE) 모델의 추론과 학습을 가속화합니다.  NVIDIA Blackwell Tensor 코어는 새로운 커뮤니티의 정의 마이크로스케일링 형식을 비롯한 새로운 정밀도가 추가되어 더 큰 정밀도를 향한 높은 정확성 및 교체의 용이성을 제공해 드립니다.

Blackwell Ultra Tensor 코어는 Blackwell GPU와 비교해 보면 어텐션 레이어 가속화가 2배, AI 컴퓨팅 플롭스는 1.5배 더 강력합니다. NVIDIA Blackwell 트랜스포머 엔진은 마이크로 텐서 스케일링이라는 정교한 스케일링 기법을 사용해서 성능과 정확도를 최적화하여 4비트 부동 소수점(FP4) AI를 구현합니다. 이에 따라 메모리가 지원할 수 있는 차세대 모델의 성능과 크기를 두 배로 확장하면서도 높은 정확도를 유지할 수 있습니다.

엑사스케일 컴퓨팅(Exascale Computing) 및 조 단위의 파라미터 AI 모델의 잠재력을 최대한 활용해 보시려면, 서버 클러스터 내의 모든 GPU 간에 빠르고 원활한 통신이 필요합니다. 5세대 NVIDIA NVLink 인터커넥트는 최대 576개의 GPU로 확장하여 1조 개 또는 수조 개의 파라미터를 가진 AI 모델에서 가속화된 성능을 제공해 드릴 수 있는 것입니다. 

NVIDIA NVLink 스위치 칩은 72GPU NVLink 도메인 하나(NVL72)에서 130TB/s의 GPU 대역폭을 지원해 드리며, NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol(SHARP)™ FP8을 지원으로 4배의 대역폭 효율성을 제공해 드립니다. NVIDIA NVLink 스위치 칩은 1.8TB/s의 우월한 상호 연결 속도로 단일 서버 이상의 클러스터를 지원해 드립니다. NVLink가 탑재된 멀티 서버 클러스터에서는 향상된 컴퓨팅과 균형을 이루며 GPU 통신을 확장해 드리게 되므로 NVL72는 단일 8개의 GPU 시스템보다 9배 더 높은 GPU 처리량을 지원해 드릴 수 있습니다.

NVIDIA Blackwell은 전용 신뢰성, 가용성과 서비스 가능성(RAS) 엔진을 사용하여 지능형 복원력을 추가하여 다운타임을 최소화해 드리기 위한 초기에 발생할 수 있는 잠재적인 결함을 식별해 드립니다.  NVIDIA의 AI 기반 예측 관리 기능은 전반적인 상태를 위해 하드웨어와 소프트웨어 전반에 걸친 수천 개의 데이터 포인트를 계속하여 모니터링 해드리며 다운타임 및 비효율성의 원인을 예측하고 차단해 드립니다. 이를 통해 시간, 에너지, 컴퓨팅 비용을 절감하는 지능형 복원력을 구축해 보실 수 있습니다.

NVIDIA’s RAS 엔진은 우려스러운 영역을 식별해 드리며 유지 보수 계획을 세워보실 수 있게 하기 위한 심층적인 진단 정보를 제공해 드립니다. RAS 엔진은 문제의 원인을 빠르게 파악해 드리며 처리 시간을 단축해 드리고, 효과적인 복구를 촉진하여 다운타임을 최소화해 드립니다.