La piattaforma di inferenza NVIDIA garantisce le prestazioni, l'efficienza e la reattività necessarie per alimentare i prodotti e i servizi IA di nuova generazione, nel cloud, nel data center, nel perimetro della rete e nei veicoli.
NVIDIA Triton™ Inference Server è un software open source per inferenza con IA veloce e scalabile in ambienti di produzione. Triton consente ai team di distribuire modelli IA addestrati da qualsiasi framework (TensorFlow, PyTorch, XgBoost, Python e altri) su qualsiasi infrastruttura basata su GPU o CPU. Massimizza l'utilizzo della GPU e della CPU, offre un throughput elevato con bassa latenza e si integra con Kubernetes per organizzazione, metriche e dimensionamento automatico.