딥 러닝 추론 플랫폼

클라우드, 데이터센터, 에지 및 자율 주행 시스템을
위한 추론 소프트웨어 및 가속기

새로운 AI 추론 벤치마크를 획득하여 AI 리더십을 보다 확장한 NVIDIA

더 빠른 AI를 더 저렴한 가격에.

이미지 및 음성 인식, 자연어 처리, 시각 검색과 맞춤형 추천 서비스와 같이 점점 더 정교해지는 AI 지원 서비스에 관한 수요가 폭발적으로 증가했습니다. 동시에 사용자의 기대를 충족하기 위해 데이터 세트는 증가하고 네트워크는 더 복잡해지며 대기 시간 요구사항은 줄어들고 있습니다.

NVIDIA AI 추론 플랫폼은 클라우드, 데이터센터, 네트워크의 에지와 차량에서의 다음 세대 AI 제품 및 서비스를 지원하는 데 요구되는 성능, 효율과 반응성을 제공하는 프로그래밍 가능한 추론 가속기입니다.

기술적 추론 개요 다운로드
 NVIDIA TRITON Inference Server로 배포 단순화

NVIDIA TensorRT를 통해 NVIDIA GPU의 잠재력을 최대로 끌어올리십시오

NVIDIA® TensorRT 는 NVIDIA Tensor 코어 GPU의 성능을 얻기 위한 핵심인 고성능 인퍼런스 플랫폼입니다. 이는 CPU로만 구성된 플랫폼과 비교해 최대 40배 높은 처리량을 제공하는 동시에 지연 시간을 최소화합니다. TensorRT를 사용하면 모든 프레임워크에서 시작하여 트레이닝한 신경망을 생산에서 빠르게 최적화, 검증 및 배포할 수 있습니다.

NVIDIA TRITON Inference Server로 배포 단순화

이전에 TensorRT Inference Server라고 불렸던 NVIDIA Triton Inference Server는 딥 러닝 모델을 생산에 배포하는 작업을 단순화하는 오픈 소스 소프트웨어입니다. Triton Inference Server를 통해 팀은 로컬 스토리지, Google Cloud Platform 또는 모든 GPU 또는 CPU 기반 인프라의 AWS S3에서 모든 프레임워크(TensorFlow, PyTorch, TensorRT Plan, Caffe, MXNet 또는 맞춤형)의 트레이닝된 AI 모델을 배포할 수 있습니다. 단일 GPU에서 동시에 여러 모델을 실행하여 활용률을 높이고 오케스트레이션, 메트릭 및 자동 크기 조정을 위해 Kubernetes와 통합됩니다.

통합, 확장 가능 딥 러닝 추론의 기반

하나의 통합 아키텍처를 가진 딥 러닝 프레임워크의 신경망은 트레이닝 후 NVIDIA TensorRT 로 최적화를 거치고 엣지에서의 실시간 추론을 위해 배포될 수 있습니다. NVIDIA는 NVIDIA DGX Systems , NVIDIA Tensor 코어 GPU , NVIDIA JetsonNVIDIA DRIVE NVIDIA는 MLPerf 벤치마크 스위트에서 보여준 것처럼 엔드 투 엔드 확장 가능한 딥 러닝 플랫폼을 제공합니다.

대규모에서 비용 절감 확인

데이터센터 관리자가 서버의 최대 생산성을 유지하려면 성능과 효율 사이를 조절해야 합니다. 단일한 NVIDIA T4 서버는 딥 러닝 추론 애플리케이션 및 서비스를 위해 여러 상용 CPU 서버를 대체하여 에너지 요구 사항을 줄이고 취득 및 운영 비용을 모두 절감합니다.

추론 솔루션

보다 빠른 AI 연구를 어떻게 달성하는지 확인하세요.

NVIDIA TensorRT와 NVIDIA GPU를 활용한 보다 빠른 AI 혁신 달성"에 대한 웨비나를 감상하세요.