深度學習推論平台

適用於雲端、資料中心、終端裝置和智慧機器的
推論應用軟體和加速器

更快速的人工智慧 更經濟的使用成本

無論是影像、語音辨識、自然語言處理、視覺搜尋還是個人化建議,這些領域對日益精密人工智慧服務的需求出現爆炸性的成長。在此同時,資料集的規模亦逐漸成長、網路越趨複雜,對於延遲的要求也越益嚴苛,才能滿足使用者的期待。

NVIDIA 人工智慧推論平台無論在雲端、資料中心、網路邊緣裝置或交通工具,都能在運用新一代人工智慧產品技術和服務時,滿足最關鍵的效能、效率和靈敏度需求。

運用 NVIDIA TensorRT 徹底釋放 NVIDIA GPU 的潛能

TensorRT 為釋放最佳推論效能的關鍵。使用 NVIDIA TensorRT 快速最佳化、驗證並部署訓練完成的神經網路以進行推論。相較於僅使用 CPU 推論的效能,TensorRT 在即時延遲的情況下可提供高達 40 倍的更大輸送量。

deep-learning-ai-inference-maximize-gpu-utilization-625-u

MAXIMIZE GPU UTILIZATION FOR DATA CENTER INFERENCE

Easily incorporate state-of-the-art AI in your solutions with NVIDIA Inference Server, a microservice for inference that maximizes GPU acceleration and hosts all popular AI model types. Deploy inference faster with this production-ready inference server that leverages the lightning-fast performance of NVIDIA Tensor Core GPUs and integrates seamlessly into DevOps deployment models, scaling on demand with autoscalers such as Kubernetes for NVIDIA GPUs.

大幅節省成本

為了讓伺服器達到最高生產力,資料中心管理員必須在效能和效率間做出取捨。在使用深度學習推論應用程式和服務時,單一 NVIDIA Tesla P4 伺服器可以取代十一個設備 CPU 伺服器,進而減少能源需求,且最高可節約 80% 的成本。

Cost Savings at a Massive Scale

To keep servers at maximum productivity, data center managers must make tradeoffs between performance and efficiency. A single NVIDIA Tesla P4 server can replace eleven commodity CPU servers for deep learning inference applications and services, reducing energy requirements and delivering cost savings of up to 80 percent.

推論解決方案

了解如何更快速地實現 AI

觀看「利用 NVIDIA GPU 和 NVIDIA TensorRT 更快速地實現 AI」線上研討會