AI 지원 애플리케이션 및 서비스를 이용해 획기적인 성능을 이끌어 내세요.
추론은 AI가 작동하는 영역으로, 모든 산업 전반에서 혁신을 지원합니다. 하지만 데이터 사이언티스트와 엔지니어가 컴퓨터 비전, 음성, 자연어 처리(NLP) 및 추천 시스템 분야에서 가능성의 경계를 넓히는 동안 AI 모델은 크기, 복잡성 및 다양성 측면에서 빠르게 발전 및 확장하고 있습니다. 이러한 기회를 최대한 활용하기 위해 조직은 AI 추론에 대한 풀 스택 기반의 접근 방식을 채택해야 합니다.
NVIDIA는 클라우드, 데이터센터, 네트워크 엣지 및 임베디드 디바이스에서 차세대 AI 추론을 지원하는 데 매우 중요한 성능, 효율, 반응성을 제공하는 전체 엔드 투 엔드 제품 및 서비스 스택을 제공합니다. 다양한 수준의 AI 전문 지식과 경험을 가진 데이터 사이언티스트, 소프트웨어 개발자 및 인프라 엔지니어를 위해 설계되었습니다.
프로세스가 완료되기까지 기다리는 시간이 단축되며 당면한 비즈니스 문제를 해결하기 위해 반복하는 데 더 많은 시간을 투입할 수 있습니다. 업계의 대표 기업이 광범위한 워크로드 집합에 대해 AI 추론을 실행하기 위해 채택했습니다.
정확도가 더 높은 결과를 내도록 확장 개선된 모델을 프로덕션에 쉽게 배치해 보세요.
더 적은 수의 서버와 더 적은 양의 전력을 사용하여 배포하고 효율적으로 확장하여 획기적으로 낮아진 비용으로 더 빠르게 인사이트를 확보하세요.
애플리케이션, AI 프레임워크, 모델 아키텍처 및 플랫폼 전체에서 모델 배포를 표준화하세요.
퍼블릭 클라우드, 온프레미스 데이터센터 및 엣지의 도구 및 플랫폼과 쉽게 통합됩니다.
AI 인프라로 인한 높은 처리량과 활용도를 달성하여 비용을 절감하세요.
가속화된 추론이 애플리케이션에 쉽게 통합됩니다.
최고의 모델 성능을 얻고 고객의 요구를 더 잘 충족해 보세요. NVIDIA 추론 플랫폼은 AI에 대한 업계의 대표적인 벤치마크인 MLPerf에서 여러 범주에 걸쳐 일관성 있게 기록적인 성능을 보여주었습니다.
애플리케이션 수요에 맞춰 추론을 원활하게 확장해 보세요.
NVIDIA의 풀 스택 아키텍처 접근 방식은 AI 지원 애플리케이션이 최적의 성능, 더 적은 수의 서버, 더 적은 전력으로 배포되도록 하므로 더 빠른 인사이트를 얻고 비용은 획기적으로 적게 들게 됩니다.
NVIDIA Omniverse는 복잡한 3D 워크플로우를 가속화할 뿐만 아니라 가능성 있는 아이디어와 혁신 기술을 시각화, 시뮬레이션, 코딩하는 새롭고 획기적인 방법을 지원합니다. 레이 트레이싱, AI, 컴퓨팅과 같은 복잡한 기술을 3D 파이프라인에 통합하는 데 더 이상 비용이 들지 않는다는 이점이 있습니다.
NVIDIA는 모든 데이터센터에 전례 없는 성능, 확장성 및 보안을 제공하는 GPU, 시스템 및 네트워킹의 포괄적인 포트폴리오를 제공합니다. NVIDIA H100, A100, A30, A2 Tensor 코어 GPU는 클라우드, 데이터센터 및 엣지 전반에 걸쳐 선도적인 추론 성능을 제공합니다. NVIDIA-Certified System™은 최적의 성능, 효율성 및 안정성이 가능하도록 검증된 구성으로 대표적인 NVIDIA 파트너의 시스템에 NVIDIA GPU 및 빠르고 안전한 NVIDIA 네트워킹을 제공합니다.
NVIDIA 가속 컴퓨팅 플랫폼에 대해 알아보기 >
NVIDIA Triton™ 추론 서버는 오픈 소스 방식의 추론 제공 소프트웨어입니다. Triton은 어느 위치의 어떤 배포 플랫폼에서나 모든 주요 딥 러닝 및 머신 러닝 프레임워크, 모든 모델 아키텍처, 실시간, 배치 및 스트리밍 처리, GPU, x86 및 Arm® CPU를 지원합니다. 대규모 언어 모델에 멀티 GPU 멀티 노드 추론을 지원합니다. 모든 애플리케이션에서 빠르고 확장 가능한 추론을 위해 필수적입니다.
NVIDIA Triton에 대해 알아보기 >
NVIDIA TensorRT™는 고성능 딥 러닝 추론을 위한 SDK로, 딥 러닝 추론 최적화 및 런타임이 포함되고, 추론 애플리케이션에 짧은 레이턴시 및 높은 처리량을 제공합니다. 이는 CPU로만 구성된 플랫폼과 비교해 몇 배나 더 높은 처리량을 제공하는 동시에 레이턴시를 최소화합니다. TensorRT를 사용하면 어느 프레임워크에서 시작하든 문제가 없으며, 트레이닝한 신경망을 프로덕션 환경에서 빠르게 최적화, 검증 및 배포할 수 있습니다.
NVIDIA TensorRT에 대해 알아보기 >
NVIDIA NGC™ 카탈로그는 가속 소프트웨어의 허브입니다. AI 애플리케이션이 온 프레미스 또는 클라우드 프로덕션으로 빠르게 전환되기 쉽도록 사전 트레이닝된 모델, AI 소프트웨어 컨테이너 및 Helm 차트를 제공합니다.
NVIDIA NGC 카탈로그에 대해 자세히 알아보기 >
Triton과 TensorRT는 또한 AI 개발 및 배포를 간소화하고 엔터프라이즈 지원을 제공하는 엔드 투 엔드 소프트웨어 제품군인 NVIDIA AI Enterprise에 포함됩니다. NVIDIA AI Enterprise는 보장된 서비스 수준 계약(SLA)의 보증, 구성, 기술 및 성능 문제에 대해 NVIDIA 전문가에게 직접 문의, 우선순위 사례 해결, 장기 지원 옵션, 교육 및 기술 자료 문서 리소스 이용 권한을 제공합니다. 이 프로그램은 온-프레미스 및 클라우드 사용자가 모두 이용할 수 있습니다.
NVIDIA AI Enterprise 지원에 대해 알아보기 >
전문가용 NVIDIA Studio 노트북은 휴대성, 대용량 메모리, 엔터프라이즈급 안정성, 최신 RTX 기술을 결합합니다.
NVIDIA RTX 워크스테이션은 전 세계의 디자인 및 시각화 전문가에게 고급 그래픽 기능과 AI를 제공합니다.
NVIDIA-Certified Servers™를 통해 기업은 Omniverse Enterprise용의 확장 가능한 하드웨어 및 소프트웨어를 배포할 수 있습니다.
NVIDIA OVX는 NVIDIA Omniverse 내에서 산업용 디지털 트윈 시뮬레이션을 지원하도록 설계된 데이터센터 규모의 컴퓨팅 시스템입니다.
최신 NVIDIA Triton 추론 서버와 NVIDIA TensorRT 제품 업데이트, 콘텐츠, 뉴스 등에 대한 최신 소식을 받으세요.
NVIDIA GTC의 AI 추론 관련 최신 온디맨드 세션의 녹화 영상을 확인하세요.
점점 발전하는 추론 사용 환경, 최적의 추론 가속기를 위한 아키텍처 고려 사항, 추론을 위한 NVIDIA AI 플랫폼에 대해 더 자세히 읽어보세요.