為了加快業務速度,百億億次級高效能運算和兆參數人工智慧模型,需要伺服器叢集中每個 GPU 之間高速流暢通訊,才能大幅加速。
第四代 NVLink 是一種可擴充的互連技術,讓伺服器間的多 GPU 輸入/輸出 (IO) 達到每秒 900GB 雙向傳輸量,頻寬高達第五代 PCIe 7 倍以上。高頻寬的 NVLink 網路與全新 NVLink Switch 結合後,現在可延伸橫跨不同伺服器。
使用伺服器內的全新 NVSwitch™ 和跨伺服器的 NVLink Switch,最高可連線 256 個 H100 GPU,提供每秒 57.6TB 的全對全頻寬和 20TB 的彙總記憶體,提供每秒半 exaFLOP 的 FP16 人工智慧運算。