Hacer avanzar tu proyecto de IA hasta producción puede ser complicado. Aprende a estandarizar y optimizar tu inferencia de IA en múltiples marcos de trabajo de modelos, diferentes tipos de consulta e infraestructura diversa de CPU y GPU con el servidor de inferencia NVIDIA Triton™.
Múltiples marcos de trabajo
La existencia de varios marcos de trabajo de deep learning (DL) y aprendizaje automático (ML), cada uno con su propio backend de ejecución de modelos, puede ser problemático.
Infraestructura mixta
Puede ser difícil administrar soluciones dispares para la infraestructura basada en CPU y GPU en la nube, en el centro de datos y en el perímetro.
Implementación escalable
La falta de integración con las plataformas y herramientas de producción puede hacer que la implementación de IA sea costosa y difícil.
Tipos de inferencia dispares
Los distintos tipos de inferencia (en tiempo real, por lotes, streaming de audio y ensamblado) requieren diferentes tipos de optimizaciones.