深度學習推論平台

適用於雲端、資料中心、終端裝置和智慧機器的
推論應用軟體和加速器

NVIDIA 開創全新人工智慧推論基準,全面擴展人工智慧的領先地位

更快速的人工智慧 更經濟的使用成本

無論是影像、語音辨識、自然語言處理、視覺搜尋還是個人化建議,這些領域對日益精密人工智慧服務的需求出現爆炸性的成長。在此同時,資料集的規模亦逐漸成長、網路越趨複雜,對於延遲的要求也越益嚴苛,才能滿足使用者的期待。

NVIDIA 人工智慧推論平台無論在雲端、資料中心、網路邊緣裝置或交通工具,都能在運用新一代人工智慧產品技術和服務時,滿足最關鍵的效能、效率和靈敏度需求。

下載技術推論概觀
 使用 NVIDIA TRITON 推論伺服器簡化部署

運用 NVIDIA TensorRT 徹底釋放 NVIDIA GPU 的潛能

高效能推論平台 NVIDIA® TensorRT 是釋放 NVIDIA Tensor 核心 GPU 強悍性能的關鍵。相較於僅使用 CPU 的平台,TensorRT 不只可以提供高達 40 倍的更大輸送量,還能大幅降低延遲情況。可以在任何深度學習框架中使用 TensorRT,還能快速地最佳化、驗證並在正式環境中部署訓練完成的神經網路。

使用 NVIDIA TRITON 推論伺服器簡化部署

原名 TensorRT 推論伺服器的 NVIDIA Triton 推論伺服器是一款開放原始碼應用軟體,可簡化深度學習模型在正式環境中的部署。Triton 推論伺服器讓團隊從本機存放區的任何框架 (TensorFlow、PyTorch、TensorRT Plan、Caffe、MXNet 或自訂)、Google Cloud Platform 或任何 GPU 或 CPU 架構上的 AWS S3 部署訓練完成的人工智慧模型。可在單一 GPU 上同時執行多個模型以發揮最高使用率,並整合 Kubernetes 以進行協調流程、指標和自動擴充。

大幅節省成本

為了讓伺服器達到最高生產力,資料中心管理員必須在效能和效率間做出取捨。在使用深度學習推論應用程式和服務時,單一 NVIDIA T4 伺服器可以取代多台 CPU 伺服器,進而減少能源需求,並且省下採購和營運成本。

推論解決方案

了解如何更快速地實現 AI

觀看「利用 NVIDIA GPU 和 NVIDIA TensorRT 更快速地實現 AI」線上研討會