能將 NVIDIA 人工智慧導入任何伺服器的入門級 GPU。
NVIDIA A2 Tensor 核心 GPU 提供入門級推論,且耗能低、使用量小、效能高,可於邊緣端提供 NVIDIA 人工智慧。A2 搭載 PCIe Gen4 短卡和低功耗 40-60W 可設定的散熱設計功耗 (TDP) 功能,可為任何大規模部署的伺服器帶來多功能推論加速。
部署人工智慧推論可透過智慧的即時體驗改善消費者生活,並從數兆個終端感測器和攝影機中獲得見解。與僅使用 CPU 的伺服器相比,搭載 NVIDIA A2 Tensor 核心 GPU 的邊緣和入門級伺服器可提供高達 20 倍的推論效能,快速升級任何伺服器,以便處理現代人工智慧工作負載。
NVIDIA A2 Tensor Core GPU 和 dual-socket Xeon Gold 6330N CPU 比較
系統設定:[CPU: HPE DL380 Gen10 Plus, 2S Xeon Gold 6330N @2.2GHz, 512GB DDR4] NLP: BERT-Large (Sequence length: 384, SQuAD: v1.1) | TensorRT 8.2, Precision: INT8, BS:1 (GPU) | OpenVINO 2021.4, Precision: INT8, BS:1 (CPU) Text-to-Speech: Tacotron2 + Waveglow end-to-end pipeline (input length: 128) | PyTorch 1.9, Precision: FP16, BS:1 (GPU) | PyTorch 1.9, Precision: FP32, BS:1 (CPU) 電腦視覺:EfficientDet-D0 (COCO, 512x512) | TensorRT 8.2, Precision: INT8, BS:8 (GPU) | OpenVINO 2021.4, Precision: INT8, BS:8 (CPU)
搭載 NVIDIA A2 GPU 的伺服器在智慧邊緣使用案例 (包括智慧城市、製造業和零售業) 可提供高達 1.3 倍的效能。使用 NVIDIA A2 GPU 加速的伺服器執行智慧影像分析工作負載時,部署效率比前幾代 GPU 更高,每元效能提升高達 1.6 倍,能源效率提高了 10%。
系統設定:[Supermicro SYS-1029GQ-TRT、2S Xeon Gold 6240 @2.6GHz、768GB DDR4、1x NVIDIA A2 或 1x NVIDIA T4] | 以 Deepstream 5.1 測量效能。網路:ShuffleNet-v2 (224x224)、MobileNet-v2 (224x224)。| 流程代表影片拍攝和解碼、預先處理、批次處理、推論和後製的 E2E 效能。
NVIDIA A2 針對受空間和散熱需求限制的入門級伺服器 (5G 邊緣和工業環境) 中的推論工作負載和部署進行了最佳化。A2 提供在低耗能環境中執行的小尺寸規格,從 60W 或低至 40W 的散熱設計功耗皆有,對於任何伺服器都是理想選擇。
人工智慧推論持續在推動跨產業的突破性創新,包括消費者網際網路、醫療照護和生命科學、金融服務、零售、製造和超級運算。將 A2 小尺寸和低功耗的優點與 NVIDIA A100 和 A30 Tensor 核心 GPU 結合,便能跨雲端、資料中心和邊緣端提供完整的人工智慧推論組合。A2 和 NVIDIA 人工智慧推論組合可確保部署人工智慧應用程式時,使用的伺服器較少,且功耗更小,進而以更快的速度、更低的成本獲得見解。
NVIDIA 人工智慧企業是人工智慧與資料分析軟體的端對端雲端原生套件,經過認證,可在採用 VMware vSphere 的監視器虛擬化基礎架構中的 A2 上執行,因此可以在混合式雲端環境中管理和調整人工智慧和推論工作負載。
深入瞭解 NVIDIA 人工智慧企業 ›
搭載 NVIDIA A2 的 NVIDIA 認證系統™ 將運算加速以及快速、安全的 NVIDIA 網路融入 NVIDIA OEM 合作夥伴所打造及銷售的企業級資料中心伺服器。此計畫讓客戶能夠在單一高效能、符合成本效益且可擴充的基礎架構上,從 NVIDIA NGC™ 目錄中找出、取得及部署適用於傳統與多元化現代人工智慧應用程式的系統。
深入瞭解 NVIDIA 認證系統 ›
NVIDIA Ampere 架構專為彈性運算時代而設計,提供支援現代企業應用程式所需的效能和加速。深入探索全球效能最強且最有彈性的資料中心。
深入瞭解 NVIDIA Ampere 架構 ›
1 具有稀疏性 2 支援未來 vGPU 版本
探索架構的尖端技術及其 GPU 的完整產品系列。