人工智慧基礎架構通用系統
NVIDIA DGX™ A100 是適用於所有人工智慧工作負載的通用系統,為全球第一款 5 petaFLOPS 人工智慧系統提供前所未有的運算密度、效能和彈性。搭載 NVIDIA A100 Tensor 核心 GPU,DGX A100 使企業能夠將訓練、推論和分析整合至易於部署的單一人工智慧基礎架構,並支援 NVIDIA 人工智慧專家顧問。
NVIDIA DGX A100 是一套支援分析、訓練和推論的通用系統,適用於所有人工智慧基礎架構。此系統為運算密度樹立新標準,6U 封裝卻蘊含了 5 petaFLOPS 的人工智慧效能,能以適用所有人工智慧工作負載的單一平台,取代舊有的基礎架構孤島。
NVIDIA DGXperts 是由超過 20,000 名精通人工智慧技術的專家所組成的全球團隊,以數十年豐富經驗累積協助你將 DGX 產品的投資效益發揮到淋漓盡致。
NVIDIA DGX A100 是全球第一個搭載 NVIDIA A100 Tensor 核心 GPU 的系統。整合 8 個 A100 GPU 和 320GB 或 640GB 的 GPU 記憶體選擇,且徹底針對 NVIDIA CUDA-X™ 軟體和端對端 NVIDIA 資料中心解決方案堆疊進行最佳化。
NVIDIA DGX A100 內建 Mellanox 網路,雙向頻寬峰值高達每秒 500 GB。這是支持 DGX A100 成為大型人工智慧叢集基石的眾多功能之一,例如可擴充人工智慧基礎架構的企業藍圖 NVIDIA DGX SuperPOD™ 即是使用 DGX A100 所打造。
NVIDIA 人工智慧入門套件可以滿足團隊的所有需求,從世界級人工智慧平台、最佳化應用軟體和工具,再到諮詢服務,讓您得以快速展開人工智慧計畫。別將時間和金錢浪費在打造人工智慧平台上:一天之內即可啟用,一週之內即可定義案例,並可更快開始商品化模型。
深入瞭解 NVIDIA DGX A100 系統
DLRM 訓練
最大模型人工智慧訓練的處理量提高了 3 倍
在 HugeCTR 框架上的 DLRM,精準度 = FP16 | 1x DGX A100 640GB 批量大小 = 48 | 2x DGX A100 320GB 批量大小 = 32 | 1x DGX-2 (16x V100 32GB) 批量大小 = 32。加速標準化 GPU 的數量。
RNN-T 推論:單一串流
人工智慧推論的處理量提高了 1.25 倍
使用 (1/7) MIG 切片測量的 MLPerf 0.7 RNN-T。框架:TensorRT 7.2,數據集 = LibriSpeech,精準度 = FP16。
巨量資料分析基準
處理量比 CPU 高 83 倍,並且比 DGX A100 320GB 高 2 倍
巨量資料分析基準 | 30 個分析零售查詢,10TB 數據集上的擷取/轉換/載入 (ETL)、機器學習 (ML)、自然語言處理 (NLP) | CPU:19 個 Intel Xeon Gold 6252 2.10 GHz,Hadoop | 16 個 DGX-1 (其中每個有 8 個 V100 32GB), RAPIDS/Dask | 12 個 DGX A100 320GB 與 6 個 DGX A100 640GB,RAPIDS/Dask/BlazingSQL。加速標準化 GPU 的數量。
18 個 NVIDIA A100 GPU 搭載共 640 GB GPU 記憶體 每個 GPU 使用 12 個 NVLink,GPU 至 GPU 頻寬每秒 600 GB
26 個第二代 NVSwitch 雙向頻寬每秒 4.8 TB 比前一代高出 2 倍
3 10 個 NVIDIA CONNECTX-7 每秒 200GB 網路介面 每秒 500 GB 的雙向頻寬峰值
4 雙 64 核心 AMD CPU 與 2 TB 系統記憶體 核心數量增加 3.2 倍,以驅動最密集的人工智慧工作
5 30TB 第四代 NVME SSD 每秒 50GB 的頻寬峰值,比第三代 NVME SSD 快 2 倍
深入瞭解全新 NVIDIA DGX A100.
NVIDIA A100 Tensor 核心 GPU 為人工智慧、資料分析和高效能運算 (HPC) 作業提供前所未有的加速能力,以解決全球最嚴苛的運算挑戰。A100 GPU 借助經過大幅效能提升的第三代 NVIDIA Tensor 核心,可以有效率地擴充至高達數千個專門執行個體,或使用多執行個體 GPU,再分配給七個較小的專門執行個體,以加速各種規模的工作負載。
MIG 讓 DGX A100 中的八個 A100 GPU 最多能設定成 56 個 GPU 執行個體,各自完全獨立且具備個別的高頻寬記憶體、快取和運算核心。這讓管理員可以憑藉適中的 GPU 確保多重工作負載的服務品質 (QoS)。
DGX A100 中搭載的第三代 NVIDIA® NVLink® 將 GPU 對 GPU 的直接頻寬加倍至每秒 600 GB,幾乎是 PCIe 第 4 代的 10 倍。DGX A100 還搭載新一代的 NVIDIA NVSwitch™,速度比前一代快達 2 倍。
DGX A100 採用最新的 NVIDIA ConnectX-7 InfiniBand 和 VPI (InfiniBand 或乙太網路) 介面卡,分別能以每秒 200 GB 的速度執行,為大規模人工智慧工作負載打造高速網狀架構。
DGX A100 整合通過測試的最佳化 DGX 軟體堆疊,包含由人工智慧微調的基礎作業系統、所有必要的系統軟體,和 GPU 加速應用程式、預先訓練的模型以及更多由 NGC™ 提供的資源。
DGX A100 為人工智慧部署提供最穩固的安全設計,透過多層次方式保護所有主要硬體和軟體元件,包含自行加密的磁碟、經過簽署的應用軟體容器、安全管理和監控等。
瞭解 NVIDIA DGX 系統的企業級支援
人工智慧基礎架構領導品牌
NVIDIA 隱私權政策