深度学习推理加速平台

应用于云端、数据中心、终端和自动机器的推理软件和加速器

更快速的 AI。更低的成本。

现今,日益完善的 AI 服务愈加受到市场青睐,其中包括图像和语音识别、自然语言处理、视觉搜索和个性化推荐等。与此同时,数据集不断扩大,网络也变得越来越复杂,用户期望的延迟要求也愈发严格。

NVIDIA 的 TensorRT™ 推理加速平台可在云端、数据中心、网络终端以及机动车辆等平台上提供至关重要的性能、效率和响应速度,以支持新一代 AI 产品和服务。

借助 NVIDIA TensorRT 发挥 NVIDIA GPU 的全部潜能

NVIDIA 深度学习推理软件是解锁卓越推理性能的关键。借助 NVIDIA TensorRT™,您可快速优化、验证和部署经训练的推理神经网络。 TensorRT 可提供 40 倍的吞吐量(与只使用 CPU 的推理相比),实时延迟在 7ms 以下

统一的端到端可扩展深度学习推理

通过搭载统一架构,各深度学习框架上的神经网络均可由 NVIDIA TensorRT 进行训练与优化,并为终端实时推理完成部署。凭借 NVIDIA® DGX™ 系统NVIDIA Tesla®NVIDIA Jetson™NVIDIA Drive™ PX,NVIDIA 目前可提供拥有完整扩展性的端到端深度学习平台。

显著节约成本

如使服务器保持最大生产效率,数据中心管理者必须在性能与效率之间作出妥协。对于深度学习推理应用程序和服务而言,一台 NVIDIA Tesla P4 服务器可取代 10 台商用 CPU 服务器 ,同时降低能耗并节约高达 80% 的成本

了解如何实现更快速的 AI

请于今日注册以参加“借助 NVIDIA GPU 和 NVIDIA TensorRT 实现更快速的 AI”网络研讨会