La plataforma de inferencia de NVIDIA ofrece el rendimiento, la eficiencia y la capacidad de respuesta fundamentales para impulsar la próxima generación de productos y servicios de IA: en el cloud, en el data center, en el edge de la red y en máquinas autónomas.
El Servidor de Inferencia NVIDIA Triton™ es un software de código abierto para la inferencia de IA rápida y escalable en producción. Triton permite que los equipos implementen modelos de IA capacitados desde cualquier framework (TensorFlow, PyTorch, XgBoost, Python y otros) en cualquier framework basado en GPU o CPU. Maximiza la utilización de GPU y CPU, ofrece un alto rendimiento con baja latencia y se integra con Kubernetes para orquestación, métricas y escalado automático.