深度學習推論平台

適用於雲端、資料中心、邊緣裝置和自主機器的推論應用軟體和加速器

更快速的人工智慧 更低廉的使用成本

無論是影像、語音辨識、自然語言處理、視覺搜尋還是個人化建議,這些領域對日益精密人工智慧服務的需求出現爆炸性的成長。在此同時,資料集的規模亦逐漸成長、網路越趨複雜,對於延遲的要求也越益嚴苛,才能滿足使用者的 期待。

NVIDIA® TensorRT 是一款可編程的推論加速器,無論是在雲端、資料中心、網路終端設備或交通工具,都能在運用新一代人工智慧產品技術和服務時,滿足最關鍵的效能、效率和靈敏度需求。 

使用 NVIDIA TensorRT 徹底釋放 NVIDIA GPU 的潛能

NVIDIA  深度學習推論應用軟體是釋放最佳推論效能的關鍵。使用 NVIDIA TensorRT 能讓您快速最佳化、驗證並部署訓練完成的神經網路以進行推論。相較於僅使用 CPU 推論的效能,TensorRT 不只可以提供高達 40 倍的更大輸送量,即時延遲也僅有 7 毫秒。

整合式端對端可擴充深度學習推論

透過單一整合式架構訓練所有深度學習架構上的神經網路,經過 NVIDIA TensorRT 最佳化後,再部署到邊緣裝置上進行即時推論。 現在有了 NVIDIA® DGX 系統、 NVIDIA Tesla®NVIDIA Jetson、 與 NVIDIA DRIVE PX,NVIDIA 就可提供端對端、可全面擴充的深度學習平台。

 

 

大幅節省成本

為了讓伺服器達到最高生產力,資料中心管理員必須在效能和效率間做出取捨。在使用深度學習推論應用程式和服務時,單一 NVIDIA Tesla P4 伺服器可以取代十一個設備 CPU 伺服器,進而減少能源需求,且最高可節約 80% 的成本。

推論解決方案

瞭解如何創造更快速的人工智慧

立即註冊參加「使用 NVIDIA GPU 與 NVIDIA TensorRT 創造更快速的人工智慧」網路研討會