深度學習推論平台

適用於雲端、資料中心、終端裝置和智慧機器的
推論應用軟體和加速器

更快速的人工智慧 更經濟的使用成本

無論是影像、語音辨識、自然語言處理、視覺搜尋還是個人化建議，這些領域對日益精密人工智慧服務的需求出現爆炸性的成長。在此同時，資料集的規模亦逐漸成長、網路越趨複雜，對於延遲的要求也越益嚴苛，才能滿足使用者的期待。

NVIDIA 人工智慧推論平台無論在雲端、資料中心、網路邊緣裝置或交通工具，都能在運用新一代人工智慧產品技術和服務時，滿足最關鍵的效能、效率和靈敏度需求。

下載技術推論概觀
下載技術推論概觀
下載 PLASTER 白皮書
下載 PLASTER 白皮書
觀賞 TensorRT 概觀影片
觀賞 TensorRT 概觀影片

運用 NVIDIA TensorRT 徹底釋放 NVIDIA GPU 的潛能

TensorRT 為釋放最佳推論效能的關鍵。使用 NVIDIA TensorRT 快速最佳化、驗證並部署訓練完成的神經網路以進行推論。相較於僅使用 CPU 推論的效能，TensorRT 在即時延遲的情況下可提供高達 40 倍的更大輸送量。

deep-learning-ai-inference-maximize-gpu-utilization-625-u

MAXIMIZE GPU UTILIZATION FOR DATA CENTER INFERENCE

Easily incorporate state-of-the-art AI in your solutions with NVIDIA Inference Server, a microservice for inference that maximizes GPU acceleration and hosts all popular AI model types. Deploy inference faster with this production-ready inference server that leverages the lightning-fast performance of NVIDIA Tensor Core GPUs and integrates seamlessly into DevOps deployment models, scaling on demand with autoscalers such as Kubernetes for NVIDIA GPUs.

大幅節省成本

為了讓伺服器達到最高生產力，資料中心管理員必須在效能和效率間做出取捨。在使用深度學習推論應用程式和服務時，單一 NVIDIA Tesla P4 伺服器可以取代十一個設備 CPU 伺服器，進而減少能源需求，且最高可節約 80% 的成本。

Cost Savings at a Massive Scale

To keep servers at maximum productivity, data center managers must make tradeoffs between performance and efficiency. A single NVIDIA Tesla P4 server can replace eleven commodity CPU servers for deep learning inference applications and services, reducing energy requirements and delivering cost savings of up to 80 percent.

推論解決方案

資料中心

資料中心
自駕車

自駕車
智慧影片分析

智慧影片分析
嵌入式裝置

嵌入式裝置

了解如何更快速地實現 AI

觀看「利用 NVIDIA GPU 和 NVIDIA TensorRT 更快速地實現 AI」線上研討會

立即觀看
解決方案
應用軟體
資源