생성형 AI와 HPC를 위한 GPU
NVIDIA H200 GPU는 혁신적인 성능과 메모리 설계를 통해 생성형 AI와 HPC 워크로드 처리 능력을 크게 높여줍니다. HBM3E를 최초로 탑재한 H200은 더 크고 빠른 메모리를 기반으로 생성형 AI와 거대 언어 모델(LLM)의 처리 속도를 높이는 한편, HPC 환경에서의 과학 연산 성능까지 강화합니다.
하이라이트
차원이 다른 성능을 경험하세요
LLama2 70B 추론
1.9배 더 빠른 속도
GPT3-175B 추론
1.6배 더 빠른 속도
고성능 컴퓨팅
110배 더 빠른 속도
이점
더 크고 더 빠른 메모리로 향상된 성능
NVIDIA H200은 NVIDIA Hopper 아키텍처를 기반으로 초당 4.8테라바이트(TB/s)의 속도로 141기가바이트(GB)의 HBM3e 메모리를 제공하는 최초의 GPU로, 이는 1.4배 더 많은 메모리 대역폭을 가진 NVIDIA H100 GPU의 거의 두 배에 달하는 용량입니다. H200의 더 크고 빠른 메모리는 생성형 AI 및 LLM을 가속화하는 동시에 더 나은 에너지 효율과 낮은 총 소유 비용으로 HPC 워크로드를 위한 과학 컴퓨팅을 발전시킵니다.
예비 사양. 변경될 수 있습니다.
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPUs BS 64 | x8 H200 SXM GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32.
고성능 LLM 추론으로 얻는 더 깊은 인사이트
끊임없이 진화하는 AI 환경에서 비즈니스는 LLM에 의존하여 다양한 추론 요구 사항을 해결합니다. AI 추론 가속기는 대규모 사용자 기반용으로 규모별로 배포 시 가장 낮은 TCO로 최고 수준의 처리량을 제공해야 합니다.
H200은 Llama2와 같은 LLM을 처리할 때 H100 GPU에 비해 추론 속도를 최대 2배까지 향상시킵니다.
극대화된 HPC 성능
메모리 대역폭은 데이터 전송 속도를 높이고 복잡한 처리 병목 현상을 줄이므로 고성능 컴퓨팅 애플리케이션에 매우 중요합니다. 시뮬레이션, 과학 연구 및 인공지능과 같은 메모리 집약적인 HPC 애플리케이션의 경우 H200의 더 높은 메모리 대역폭을 사용하면 데이터에 효율적으로 액세스하고 조작할 수 있어 CPU에 비해 결과 도출 시간이 110배 더 빠릅니다.
예비 측정 성능으로 변경될 수 있습니다
HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480
HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
H200 NVL이 이끄는 엔터프라이즈 서버 AI 가속 혁신
NVIDIA H200 NVL은 유연한 구성이 필요한 저전력 공랭식 엔터프라이즈 랙 설계에 이상적이며, 크기에 관계없이 모든 AI 및 HPC 워크로드에 가속화를 제공합니다. NVIDIA NVLink™로 최대 4개가 연결된 GPU와 1.5배 메모리 증가로 거대 언어 모델(LLM) 추론을 최대 1.7배까지 가속화할 수 있으며, HPC 애플리케이션은 H100 NVL보다 최대 1.3배 더 높은 성능을 제공합니다.
엔터프라이즈 레디: AI 소프트웨어로 개발과 배포 간소화
NVIDIA H200 NVL에는 5년간의 NVIDIA Enterprise 구독이 포함되어 있습니다. 이 구독에는 Enterprise AI 플랫폼 구축을 단순화하는 NVIDIA AI Enterprise가 제공됩니다. H200는 컴퓨터 비전, 음성 AI, RAG(검색 증강 생성) 등 프로덕션 환경의 생성형 AI 솔루션을 위해 AI 개발과 배포를 전반적으로 가속합니다. 또한 NVIDIA AI Enterprise에는 엔터프라이즈 생성형 AI 배포를 빠르게 구현할 수 있도록 설계된 NVIDIA NIM™ 마이크로서비스 제품군이 포함됩니다. 이 모든 기능이 결합되어 엔터프라이즈급 보안, 관리 기능, 안정성, 지원을 갖춘 AI 환경을 제공하며, 그 결과 기업은 성능 최적화된 AI 솔루션을 통해 더 빠른 비즈니스 가치와 실질적인 인사이트를 확보할 수 있습니다.
사양
NVIDIA H200 GPU
| 폼 팩터 | H200 SXM¹ | H200 NVL¹ |
|---|---|---|
| FP64 | 34 TFLOPS | 30 TFLOPS |
| FP64 Tensor 코어 | 67 TFLOPS | 60 TFLOPS |
| FP32 | 67 TFLOPS | 60 TFLOPS |
| TF32 Tensor 코어² | 989 TFLOPS | 835 TFLOPS |
| BFLOAT16 Tensor 코어² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP16 Tensor 코어² | 1,979 TFLOPS | 1,671 TFLOPS |
| FP8 Tensor 코어² | 3,958 TFLOPS | 3,341 TFLOPS |
| INT8 Tensor 코어² | 3,958 TFLOPS | 3,341 TFLOPS |
| GPU 메모리 | 141GB | 141GB |
| GPU 메모리 대역폭 | 4.8TB/s | 4.8TB/s |
| 디코더 | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| 컨피덴셜 컴퓨팅 | 지원 | 지원됨 |
| 최대 열 설계 전력(TDP) | 최대 700W(구성 가능) | 최대 600W(구성 가능) |
| 멀티 인스턴스 GPU(MIG) | 최대 7개의 MIG, 각각 18GB | 각각 최대 7개의 MIGs @16.5GB |
| 폼 팩터 | SXM | PCIe 듀얼 슬롯(공랭식) |
| 인터커넥트 | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s |
2방향 또는 4방향 NVIDIA NVLink 브리지: GPU당 900GB/s PCIe Gen5: 128GB/s |
| 서버 옵션 | GPU가 4개 또는 8개인 NVIDIA HGX™ H200 파트너 및 NVIDIA-Certified System™ | NVIDIA MGX™ H200 NVL 파트너 및 최대 8개의 GPU를 갖춘 NVIDIA 인증 시스템 |
| NVIDIA AI Enterprise | 추가 가능 | 포함 항목 |
|
1 예비 사양입니다. 변경될 수 있습니다. |
||
데이터센터 학습 및 추론 성능에 대해 자세히 알아보기