生成式人工智慧需要大量記憶體和運算。NVIDIA GH200 Grace Hopper 超級晶片採用 96GB HBM3 記憶體,提供的 GPU 記憶體頻寬是原版 A100 的 2.5 倍以上。新一代的 GH200 是全球第一款採用 141GB HBM3e 記憶體技術的處理器,與原版 A100 相比,可提供超過 3 倍的頻寬。NVIDIA Grace Hopper 中的 HBM 透過 NVLink-C2C 與 CPU 記憶體結合,為 GPU 提供超過 600 GB 的快速存取記憶體,為處理全球最複雜的加速運算和生成式人工智慧工作負載提供所需的記憶體容量和頻寬。