全世界功能最強大的 GPU，可大幅強化人工智慧和高效能運算工作負載。
當產品上市時通知我。
產品規格表 | 規格
NVIDIA H200 Tensor 核心 GPU 具備顛覆以往的效能和記憶體功能，可大幅強化生成式人工智慧和高效能運算工作負載。H200 是第一款搭載 HBM3e 的 GPU，更大更快的記憶體可加速生成式人工智慧和大型語言模型 (LLM)，同時強化高效能運算工作負載的科學運算。
NVIDIA HGX H200 採用 NVIDIA Hopper™ 架構，搭載 NVIDIA H200 Tensor 核心 GPU 與先進記憶體，可處理生成式人工智慧和高效能運算工作負載的大量資料。
1.9 倍速度提升
1.6 倍速度提升
110 倍速度提升
NVIDIA H200 採用 NVIDIA Hopper 架構，是第一款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 記憶體的 GPU，容量幾乎是 NVIDIA H100 Tensor 核心 GPU 的兩倍，記憶體頻寬則提升 1.4 倍。H200 更大、更快的記憶體能加速生成式人工智慧和 LLM，同時提升高效能運算工作負載的科學運算，而且能源效率更高、總體擁有成本更低。
此為初步測得的效能，後續可能有更新資訊 GPT-3 175B：ISL 80、OSL 200 | x8 H100 GPU BS 64 | x8 H200 GPU BS 128 Llama2 13B: ISL 128, OSL 2K | Throughput | H100 1x GPU BS 64 | H200 1x GPU BS 131 Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32
在人工智慧不斷演進的狀況下，企業仰賴 LLM 來因應各種推論需求。為龐大的使用者大規模部署人工智慧推論加速器時，必須運用最低的整體擁有成本達到最高的吞吐量。
與 H100 GPU 相比，H200 在處理類似 Llama2 的 LLM 時，可將推論速度大幅提升到最高 2 倍。
就高效能運算方面的用途而言，記憶體頻寬相當重要。因為這能加快資料傳輸速度，並減少複雜的處理瓶頸。對於需耗費大量記憶體的高效能運算應用程式，如模擬作業、科學研究和人工智慧，H200 的記憶體頻寬較高，可保障資料存取和操作時的效率，因此取得結果的速度與 CPU 相比提升達 110 倍。
此為初步測得的效能，後續可能有更新資訊 HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480 HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
此為初步測得的效能，後續可能有更新資訊 Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32
隨著 H200 的推出，能源效率和整體擁有成本將達到全新境界。這項尖端技術可提供無與倫比的效能，並且與 H100 Tensor 核心 GPU 使用相同的功耗設定。人工智慧工廠和超級運算系統不僅速度更快也更環保，所具備的經濟優勢可推動人工智慧和科學界持續進步。
Single-node HGX measured performance | A100 April 2021 | H100 TensorRT-LLM Oct 2023 | H200 TensorRT-LLM Oct 2023
NVIDIA Hopper 架構提供超越前代產品的效能，並且不斷強化 H100 的軟體功能，持續樹立新標竿。包括近期推出了強大的開放原始碼函式庫，如 NVIDIA TensorRT-LLM™。
H200 推出後，將會以更優異的效能延續這股趨勢。投資此軟體不僅能確保目前在效能上的領先地位，並透過對支援軟體的持續改進，能確保未來的效能優勢。
NVIDIA AI Enterprise 搭配 NVIDIA H200 使用，可簡化人工智慧平台的建構過程，進而加速開發和部署可用於實際生產環境的生成式人工智慧、電腦視覺、語音人工智慧等技術。兩者相結合，可帶來企業級的安全性、管理能力、穩定度和支援服務，以便更快速地收集實用的洞察，並加速實現有形商業價值。
1 Preliminary specifications. May be subject to change. 2 With sparsity.