Piattaforma di inferenza deep learning Software e acceleratori di inferenza per cloud, data center, sistemi periferici e autonomi
Sfrutta tutto il potenziale delle GPU NVIDIA GPU con NVIDIA TensorRT TensorRT è una piattaforma di inferenza ad alte prestazioni fondamentale per usufruire di tutto il potenziale delle GPU NVIDIA Tensor Core. Garantisce una produttività fino a 40 volte superiore riducendo la latenza rispetto alle piattaforme basate solo su CPU. Con TensorRT, puoi iniziare da qualsiasi framework e ottimizzare, convalidare e distribuire rapidamente reti neurali addestrate in produzione.
Semplifica la distribuzione con NVIDIA Triton Inference Server NVIDIA Triton Inference Server, precedentemente noto come TensorRT Inference Server, è un software open source che semplifica la distribuzione di modelli di deep learning nell'ambiente di produzione. Triton Inference Server consente ai team di distribuire modelli IA addestrati da qualsiasi framework (TensorFlow, PyTorch, TensorRT Plan, Caffe, MXNet o personalizzato) dallo storage locale, dalla piattaforma Google Cloud o da AWS S3 su qualsiasi infrastruttura basata su GPU o CPU. Esegue più modelli simultanei su una singola GPU per massimizzare l'utilizzo e si integra con Kubernetes per organizzazione, metriche e scalabilità automatica. SCOPRI DI PIÙ
Soluzione per inferenza su deep learning unificata, scalabile e potente Con una singola architettura unificata, è possibile addestrare reti neurali su qualsiasi framework di deep learning, ottimizzarle con NVIDIA TensorRT e infine distribuirle a scopo di inferenza in tempo reale sui dispostivi perimetrali. Grazie ai sistem NVIDIA DGX™, NVIDIA Tesla®, NVIDIA Jetson™ e NVIDIA DRIVE™, NVIDIA offre una piattaforma di deep learning completa e totalmente scalabile, come mostrato nella suite di benchmark MLPerf.
Risparmi e scalabilità Per garantire la massima produttività dei server, i responsabili dei data center sono costretti a scendere a compromessi tra prestazioni ed efficienza. Un solo server NVIDIA Tesla T4 è in grado di sostituire più server CPU per applicazioni e servizi di inferenza deep learning, riducendo i requisiti energetici e garantendo risparmi in termini di acquisizione e costi operativi.