NVIDIA T4

彈性設計與突破性效能

新一代的推論加速功能已問世

我們正邁向一個所有客戶的互動與所有產品和服務都導入人工智慧並越來越進步的未來。實現這項未來願景需要能加速全種類現代人工智慧的運算平台,讓企業能夠重新設計客戶體驗,以及達成、甚至超越客戶期望的方式,並以符合成本效益的方式擴充採用人工智慧技術的產品和服務。

NVIDIA® T4 GPU 可加速多種類型的雲端工作負載,包含高效能運算、深度學習訓練與推論、機器學習、資料分析和繪圖運算。T4 採用全新的 NVIDIA Turing™ 架構,以及節能的 70 瓦、小型 PCIe 尺寸,且已針對擴充運算環境最佳化,並提供多精度 Turing Tensor 核心和全新 RT 核心。而 T4 與 NGC 上的加速容器化應用軟體堆疊結合,則可大規模提供革命性效能。

突破性效能

T4 引入革命性的 Turing Tensor 核心技術,搭配多精度運算功能,可處理多種類型的工作負載。讓 FP32、FP16 到 INT8 發揮突破性效能,及提供 INT4 精度的 T4,效能比 CPU 高 40 倍。

Breakthrough Inference Performance

最先進的即時推論

對使用者而言,反應能力是他們決定是否參與對話式人工智慧、推薦系統和視覺搜尋的關鍵。隨著模型的精準度和複雜度加倍,現在需要更大幅度的運算能力才能提供正確的答案。T4 能夠提升低延遲度輸送量達 40 倍,因此可以運用更少的 GPU 加速伺服器,即時處理更多要求。

T4 推論效能

Resnet50

DeepSpeech2

GNMT

影片轉碼效能

線上影片的數量持續呈指數增加,對於快速搜尋影片,並從中取得洞見之解決方案的需求也持續增長。T4 為人工智慧影片應用程式提供突破性的效能,以及專用的硬體轉碼引擎,與前幾代的 GPU 相比,解碼效能提升兩倍。T4 最多可以解碼 38 個 Full HD 影片串流,因此能輕鬆地將可擴充的深度學習技術整合至影片轉碼流程,提供創新的智慧影片服務。

NVIDIA T4 規格

 

效能

Turing Tensor 核心
320

NVIDIA CUDA® 核心
2,560

單精度效能 (FP32)
8.1 TFLOPS

混合精度 (FP16/FP32)
65 FP16 TFLOPS

INT8 精度
130 INT8 TOPS

INT4 精度
260 INT4 TOPS

 
 

互連

Gen3
x16 PCIe

 
 

記憶體

容量
16 GB GDDR6

頻寬
320+ GB/s

 
 

電源

70 watts

 

NVIDIA 人工智慧推論平台

探索全球最先進的推論平台