NVIDIA AI 추론 플랫폼은 클라우드, 데이터센터, 네트워크 엣지, 오토노머스 머신에서의 차세대 AI 제품 및 서비스를 지원하는 데 요구되는 성능, 효율, 반응성을 제공합니다.
NVIDIA Triton™ 추론 서버는 프로덕션 환경에서의 빠르고 확장 가능한 AI 추론을 위한 오픈 소스 소프트웨어입니다. Triton을 사용하면 팀은 모든 GPU 또는 CPU 기반 인프라에 모든 프레임워크(TensorFlow, PyTorch, XgBoost, Python 등)에서 훈련된 AI 모델을 배포할 수 있습니다. Triton은 GPU 및 CPU 활용률을 극대화하고, 짧은 대기 시간 내에 높은 처리량을 제공하고, 오케스트레이션, 메트릭, 자동 확장을 위해 Kubernetes와 통합됩니다