딥 러닝 추론 플랫폼

클라우드, 데이터센터, 에지 및 자율 주행 시스템을
위한 추론 소프트웨어 및 가속기

더 빠른 AI를 더 저렴한 가격에.

이미지 및 음성 인식, 자연어 처리, 시각 검색과 맞춤형 추천 서비스와 같이 점점 더 정교해지는 AI 지원 서비스에 관한 수요가 폭발적으로 증가했습니다. 동시에 사용자의 기대를 충족하기 위해 데이터 세트는 증가하고 네트워크는 더 복잡해지며 대기 시간 요구사항은 줄어들고 있습니다.

NVIDIA AI 추론 플랫폼은 클라우드, 데이터센터, 네트워크의 에지와 차량에서의 다음 세대 AI 제품 및 서비스를 지원하는 데 요구되는 성능, 효율과 반응성을 제공하는 프로그래밍 가능한 추론 가속기입니다.

NVIDIA TensorRT를 통해 NVIDIA GPU의 잠재력을 최대로 끌어올리십시오

TensorRT 는 최적의 추론 성능을 풀 열쇠입니다. NVIDIA TensorRT를 사용하면 추론을 위해 훈련된 신경망을 빠르게 최적화하고 입증하며 배포할 수 있습니다. TensorRT는 CPU만 사용한 추론 대비 실시간 기준 40배 높은 처리량을 제공합니다.

deep-learning-ai-inference-maximize-gpu-utilization-625-u

MAXIMIZE GPU UTILIZATION FOR DATA CENTER INFERENCE

Easily incorporate state-of-the-art AI in your solutions with NVIDIA Inference Server, a microservice for inference that maximizes GPU acceleration and hosts all popular AI model types. Deploy inference faster with this production-ready inference server that leverages the lightning-fast performance of NVIDIA Tensor Core GPUs and integrates seamlessly into DevOps deployment models, scaling on demand with autoscalers such as Kubernetes for NVIDIA GPUs.

엄청난 수준의 비용 절감

데이터센터 관리자가 서버의 최대 생산성을 유지하려면 성능과 효율 사이를 조절해야 합니다. 딥 러닝 추론 애플리케이션 및 서비스에 있어 NVIDIA Tesla P4 서버 하나만으로 상용 CPU 서버 11대를 대체할 수 있으므로 요구 전력량을 줄이고 비용을 80%까지 절약할 수 있습니다.

Cost Savings at a Massive Scale

To keep servers at maximum productivity, data center managers must make tradeoffs between performance and efficiency. A single NVIDIA Tesla P4 server can replace eleven commodity CPU servers for deep learning inference applications and services, reducing energy requirements and delivering cost savings of up to 80 percent.

추론 솔루션

보다 빠른 AI 연구를 어떻게 달성하는지 확인하세요.

NVIDIA TensorRT와 NVIDIA GPU를 활용한 보다 빠른 AI 혁신 달성"에 대한 웨비나를 감상하세요.