더욱 빠르고 정확한 AI 추론

NVIDIA Triton Inference 서버는 모든 GPU 또는 CPU 기반 인프라의 모든 주요 AI 프레임워크에서 AI 모델 배포 및 프로덕션 실행을 표준화하는 데 도움이 되는 오픈 소스 추론 제공 소프트웨어입니다.​

NVIDIA Triton 관리 서비스는 GPU 및 CPU에서 리소스 효율적인 모델 오케스트레이션을 통해 Kubernetes에서 여러 Triton 추론 서버 인스턴스 배포를 자동화합니다.

NVIDIA TensorRT는 고성능 딥 러닝 추론을 위한 SDK입니다. 여기에는 추론 애플리케이션에 대해 짧은 대기 시간과 높은 처리량을 제공하는 딥 러닝 추론 최적화 프로그램과 런타임이 포함되어 있습니다. TensorRT는 Triton을 사용하여 배포, 실행 및 확장할 수 있습니다.

TensorRT-LLM은 프로덕션에서 추론을 위해 LLM(대형 언어 모델)을 정의, 최적화 및 실행하기 위한 오픈 소스 라이브러리입니다. 이는 새로운 모델과 사용자 정의를 신속하게 지원하기 위해 오픈 소스 Python API에서 TensorRT의 Deep Learning Compiler와 결합된 FasterTransformer의 핵심 기능을 유지합니다.

L4는 비디오, AI, 비주얼 컴퓨팅, 그래픽, 가상화 등을 위한 보편적이고 에너지 효율적인 가속을 비용 효율적으로 제공합니다. GPU는 CPU 기반 솔루션보다 120배 더 높은 AI 비디오 성능을 제공하므로 기업은 실시간 통찰력을 얻어 콘텐츠를 개인화하고 검색 관련성을 향상시키는 등의 작업을 수행할 수 있습니다.

NVIDIA의 전체 추론 제공 소프트웨어 스택과 L40S GPU를 결합하면 추론을 위해 준비된 훈련된 모델을 위한 강력한 플랫폼을 제공합니다. 구조적 희소성과 광범위한 정밀도를 지원하는 L40S는 NVIDIA A100 Tensor 코어 GPU의 추론 성능을 최대 1.7배까지 제공합니다.

H100은 NVIDIA의 가속화된 컴퓨팅 데이터 센터 플랫폼에서 차세대 도약을 제공하여 모든 데이터 센터에서 소규모 기업 워크로드부터 엑사스케일 HPC 및 1000조 매개변수 AI에 이르기까지 다양한 워크로드를 안전하게 가속화합니다.

기업에는 가장 큰 모델을 처리하고 추론 인프라의 잠재력을 최대한 활용하기 위한 다목적 시스템이 필요합니다. GH200 Grace Hopper 슈퍼칩은 LLM, 추천자, 벡터 데이터베이스 등을 처리하기 위해 기존 가속 추론 솔루션에 비해 GPU에 7배 이상 빠른 액세스 메모리를 제공하고 CPU 추론 솔루션보다 훨씬 더 많은 FLOPS를 제공합니다.