NVIDIA H100 CNX Converged Accelerator

GPU 기반 IO 집약적 워크로드에 대한 전례 없는 성능.

통합 네트워크 및 컴퓨팅 가속

전례 없는 컨버지드 가속 성능을 경험하세요. NVIDIA H100 CNX는 NVIDIA H100 Tensor 코어 GPU의 성능을 NVIDIA® ConnectX®-7 스마트 네트워크 인터페이스 카드(SmartNIC)의 고급 네트워킹 기능과 결합하여 엔터프라이즈 데이터센터에서의 분산된 AI 트레이닝과 엣지에서의 5G 처리 등과 같은 GPU 기반 입출력(IO) 집약적 워크로드를 가속합니다.

더 나은 I/O 성능

더 나은 I/O 성능

NVIDIA H100과 ConnectX-7은 GPU와 네트워크 간의 데이터 전송을 위한 전용 고속 경로를 제공하는 통합 PCIe Gen5 스위치를 통해 연결됩니다. 이는 호스트를 통과하는 데이터의 병목 현상을 없애고 예측 가능한 낮은 지연 시간을 제공하며 이는 5G 신호 처리와 같은 시간에 민감한 애플리케이션에 중요합니다.

균형 잡히고 최적화된 디자인

균형 잡히고 최적화된 디자인

GPU와 SmartNIC를 단일 디바이스에 통합하면 디자인에 따라 균형 잡힌 아키텍처가 구현됩니다. 다중 GPU를 원하는 시스템에서는 Converged Accelerator 카드가 NIC에 대해 최적의 일대일 GPU 비율을 시행합니다.   또한 이 디자인은 서버의 PCIe 버스에서 충돌을 방지하므로 디바이스가 추가되면 성능이 선형적으로 증가합니다.

비용 절감

비용 절감

GPU 및 SmartNIC가 직접 연결되어 있기 때문에 고객은 주류 PCIe Gen4 또는 Gen3 서버를 활용하여 하이엔드 또는 특별한 목적으로 제작된 시스템으로만 가능한 수준의 성능을 달성할 수 있습니다.   또한 단일 카드를 사용하면 전력, 공간, PCIe 디바이스 슬롯도 절약되므로 서버당 더 많은 수의 가속기를 사용할 수 있게 되어 비용이 추가로 절감됩니다.

애플리케이션 지원

애플리케이션 지원

NCCL(NVIDIA Collective Communications Library) 및 UCX®)(Unified Communication X)와 같은 코어 가속 소프트웨어 라이브러리는 GPU로의 데이터 전송을 위해 자동으로 최고 성능의 경로를 사용합니다. 그 결과, 기존 가속화 멀티 노드 애플리케이션은 수정 없이 H100 CNX를 활용해 즉각적인 이점을 제공할 수 있습니다.

더 빠르고 효율적인 AI 시스템

분산된 다중 노드 AI 교육

분산된 다중 노드 AI 교육

여러 호스트 간의 GPU 간 데이터 전송을 포함하는 분산 AI 훈련 워크로드를 실행할 때 서버가 성능, 확장성, 밀도의 제한에 직면하는 경우가 종종 있습니다. 일반적인 엔터프라이즈 서버에는 PCIe 스위치가 포함되어 있지 않으므로 CPU에서 이러한 트래픽의 병목 현상이 발생합니다. 가상 머신의 경우 특히 그렇습니다. 데이터 전송은 호스트 PCIe 백플레인의 속도로 제한됩니다. 충돌은 GPU 수량과 NIC 수량의 불균형으로 인해 발생할 수 있습니다. 일대일 비율이 이상적이지만, 서버의 PCIe 레인 및 슬롯 수에 따라 총 디바이스 수가 제한될 수 있습니다.

H100 CNX는 이 문제를 완화합니다. 네트워크에서 GPU로의 전용 경로를 통해 GPUDirect® RDMA를 라인 속도에 근접하게 작동할 수 있게 합니다. 데이터 전송은 호스트 PCIe 백플레인과 관계없이 PCIe Gen5 속도에서도 발생합니다. 이상적인 GPU 대 NIC 비율이 달성되므로 호스트에서의 GPU 전력 확장이 균형 잡힌 방식으로 수행될 수 있습니다. Converged Accelerator는 개별 카드보다 PCIe 레인과 디바이스 슬롯이 더 적게 필요하므로 서버에 더 많은 가속 성능을 장착할 수도 있습니다.

엣지 AI-on-5G 가속화

NVIDIA AI-on-5G는 NVIDIA EGX 엔터프라이즈 플랫폼, 소프트웨어 정의 5G 가상 RAN(vRAN)용 NVIDIA Aerial SDK, 그리고 NVIDIA Isaac 및 NVIDIA Metropolis와 같은 SDK를 포함한 엔터프라이즈 AI 프레임워크로 구성됩니다. 이 플랫폼을 통해 비디오 카메라, 산업용 센서, 로봇과 같은 엣지 디바이스가 AI를 사용하고 5G를 통해 서버와 통신할 수 있습니다.

NVIDIA Converged Accelerator는 5G 애플리케이션 실행을 위한 최고 성능의 플랫폼을 제공합니다. 데이터가 호스트 PCIe 시스템을 통과할 필요가 없기 때문에 처리 지연 시간이 크게 줄어듭니다. 5G 신호 처리를 가속하는 데 사용되는 동일한 컨버지드 카드를 엣지 AI에도 사용할 수 있으며, NVIDIA의 MIG(Multi-Instance GPU) 기술을 통해 여러 애플리케이션 간에 GPU를 공유할 수 있습니다. H100 CNX를 사용하면 많은 비용이 드는 특수 제작 시스템을 배포하지 않아도 단일 엔터프라이즈 서버에서 이 모든 기능을 제공할 수 있습니다.

NVIDIA AI-on-5G

H100 CNX 사양

  사양
GPU 메모리 80GB HBM2e
메모리 대역폭 2.0Tb/s 이상
MIG 인스턴스 7개 GPU 인스턴스 @ 각 10GB
3개 GPU 인스턴스 @ 각 20GB
2개 GPU 인스턴스 @ 각 40GB
인터커넥트 PCIe Gen5 128GB/s
NVLINK 브리지 양방향
네트워킹 400Gb/s x1, 200Gb/s 포트 x2, 이더넷 또는 InfiniBand
폼 팩터 듀얼 슬롯, 전체 높이, 전체 길이(FHFL)
최대 전력 350W

NVIDIA Hopper 아키텍처에 대해 자세히 알아보세요