This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

NVIDIA 멀티 인스턴스 GPU

단일 GPU에 구현된 7개의 독립 인스턴스

MIG(Multi-Instance GPU)는 NVIDIA H100, A100, A30 Tensor 코어 GPU의 성능과 가치를 향상합니다. MIG는 GPU를 각각 자체 고대역폭 메모리, 캐시, 컴퓨팅 코어를 갖추고 완전하게 격리된 최대 7개의 인스턴스로 파티셔닝할 수 있습니다. 그러면 관리자는 가장 소규모부터 가장 대규모까지 아우르는 모든 워크로드를 지원할 수 있으므로, 서비스 품질(QoS)이 보장되고, 가속화된 컴퓨팅 리소스의 범위를 모든 사용자에게로 확장할 수 있습니다.

제품 개요

GPU 액세스 확장

MIG를 사용하면 단일 GPU에서 최대 7배 더 많은 GPU 리소스를 달성할 수 있습니다. MIG는 연구자와 개발자에게 그 어느 때보다 더 많은 리소스와 유연성을 제공합니다.

GPU 활용성 최적화

MIG는 여러 다양한 인스턴스 크기를 선택할 수 있는 유연성을 제공하여 각 워크로드에 적절한 크기의 GPU 인스턴스를 프로비저닝할 수 있으므로, 궁극적으로 활용도를 최적화하고 데이터센터 투자를 극대화할 수 있습니다.

동시 워크로드 실행

MIG를 사용하면 확정된 지연 시간 및 처리량으로 단일 GPU에서 추론, 트레이닝, 고성능 컴퓨팅(HPC) 워크로드를 동시에 실행할 수 있습니다. 타임 슬라이싱과 달리 각 워크로드가 병렬로 실행되어 고성능을 제공합니다.

기술 작동 방법

MIG 없이 동일한 GPU에서 서로 다른 AI 추론 요청 등의 다양한 작업을 실행하면 각 작업이 동일한 리소스를 두고 경쟁합니다. 더 큰 메모리 대역폭을 소비하는 작업이 다른 작업을 방해하여 일부 작업은 지연 시간 목표를 달성하지 못하는 결과가 발생합니다. MIG를 사용하면 컴퓨팅, 메모리, 메모리 대역폭을 위한 전용 리소스를 갖춘 서로 다른 인스턴스에서 작업이 동시에 실행되므로 서비스 품질을 통한 예측 가능한 성능과 GPU 사용률을 극대화할 수 있습니다.

필요에 따른 인스턴스 프로비저닝 및 구성

GPU는 다양한 크기의 MIG 인스턴스로 파티셔닝할 수 있습니다. 예를 들어, NVIDIA A100 40GB에서 관리자는 각각 20GB 메모리의 인스턴스 2개를 생성하거나 각각 10GB의 인스턴스 3개 또는 각각 5GB의 인스턴스 7개를 생성할 수 있습니다. 그런 인스턴스를 혼합할 수도 있습니다.

MIG 인스턴스는 또한 동적으로 재구성할 수 있으므로, 관리자는 변화하는 사용자 및 비즈니스 수요에 대응하여 GPU 리소스를 전환할 수 있습니다. 예를 들어, 주간에는 7개의 MIG 인스턴스를 사용하여 낮은 처리량을 추론하고 야간에는 하나의 대형 MIG 인스턴스로 재구성하여 딥 러닝 교육을 받을 수 있습니다.

병렬로 안전한 워크로드 실행

컴퓨팅, 메모리, 캐시를 위한 전용 하드웨어 리소스 세트를 통해 각 MIG 인스턴스는 보장된 서비스 품질 및 결함 격리를 제공합니다. 따라서 하나의 인스턴스에서 실행되는 애플리케이션에 오류가 발생해도 다른 인스턴스에서 실행되는 애플리케이션에 영향을 주지 않습니다.

이는 또한 서로 다른 인스턴스에서 대화식 모델 개발, 딥 러닝 트레이닝, AI 추론, HPC 애플리케이션과 같은 서로 다른 유형의 워크로드를 실행할 수 있음을 의미합니다. 인스턴스가 병렬로 실행되므로 워크로드 역시 병렬로 실행되지만, 동일한 물리적 GPU에서 분리되고 격리됩니다.

NVIDIA H100의 MIG

NVIDIA Hopper™ 아키텍처 덕분에 H100은 최대 7개의 GPU 인스턴스에 걸쳐 가상화된 환경에서 멀티 테넌트 및 멀티 사용자 구성을 지원하여 MIG를 더욱 향상하고, 하드웨어 및 하이퍼바이저 수준에서 기밀 컴퓨팅으로 각 인스턴스를 안전하게 격리합니다. 각 MIG 인스턴스에 대한 전용 비디오 디코더는 공유 인프라에서 안전하고 처리량이 높은 지능형 영상 분석(IVA)을 제공합니다. 관리자는 Hopper의 동시 MIG 프로파일링을 통해 적합한 크기의 GPU 가속을 모니터링하고 여러 사용자를 위한 리소스를 할당할 수 있습니다.

워크로드가 적은 연구원의 경우 전체 클라우드 인스턴스를 대여하기보다는 MIG를 사용하여 GPU의 일부를 안전하게 격리하는 동시에 데이터를 저장, 전송, 사용 시 안전하게 보호할 수 있습니다. 이를 통해 클라우드 서비스 제공업체가 가격을 책정하고 더 작은 고객 기회를 해결할 때의 유연성을 개선할 수 있습니다.

MIG 활용 사례 보기

단일 A100 GPU 상에서 복수의 워크로드 실행

이 데모는 AI 및 고성능 컴퓨팅(HPC) 워크로드를 동일한 A100 GPU에서 동시에 실행합니다.

영상 보기

멀티 인스턴스 GPU를 통해 성능 및 활용률 강화

이 데모는 단일 MIG 슬라이스에서 추론 성능을 보여준 다음 A100 전체에 걸쳐 선형으로 확장됩니다.

영상 보기

IT와 DevOps 팀을 위한 구축

MIG는 IT 및 DevOps 팀에서 세분화된 GPU 프로비저닝을 가능하게 합니다. 각 MIG 인스턴스는 애플리케이션에 대해 독립형 GPU와 같이 동작하므로 CUDA® 플랫폼이 변경되지 않습니다. MIG는 모든 주요 엔터프라이즈 컴퓨팅 환경에서 사용할 수 있습니다.

궁극의 데이터센터 유연성 달성

NVIDIA A100 GPU는 다양한 크기의 MIG 인스턴스로 파티셔닝할 수 있습니다. 예를 들어, 관리자는 각각 20GB 메모리의 인스턴스 2개를 생성하거나 10GB의 인스턴스 3개 또는 5GB의 인스턴스 7개를 생성할 수 있습니다. 그런 인스턴스를 혼합할 수도 있습니다. 따라서 시스템 관리자는 다양한 유형의 워크로드에 대해 적절한 크기의 GPU를 사용자에게 제공할 수 있습니다.

탁월한 서비스 품질 제공

각 MIG 인스턴스는 컴퓨팅, 메모리, 캐시를 위한 전용 하드웨어 리소스 세트를 포함하여 워크로드에 대해 보장된 서비스 품질 및 결함 격리를 제공합니다. 따라서 하나의 인스턴스에서 실행되는 애플리케이션에 오류가 발생해도 다른 인스턴스에서 실행되는 애플리케이션에 영향을 주지 않습니다. 또한 서로 다른 인스턴스에서 대화식 모델 개발, 딥 러닝 트레이닝, AI 추론, HPC 애플리케이션과 같은 서로 다른 유형의 워크로드를 실행할 수 있습니다. 인스턴스가 병렬로 실행되므로 워크로드 역시 병렬로 실행되지만, 동일한 물리적 A100 GPU에서 분리되고 격리됩니다.

MIG는 AI 모델 개발 및 낮은 지연 시간 추론과 같은 워크로드에 매우 적합합니다. 이러한 워크로드는 A100의 기능을 최대한 활용할 수 있고 각 인스턴스의 할당된 메모리에 적합합니다.

MIG 사양

	H100	A100
기밀 컴퓨팅	예	-
인스턴스 유형	7x 10GB 4x 20GB 2x 40GB (더 큰 컴퓨팅 용량) 1x 80GB	7x 10GB 3x 20GB 2x 40GB 1x 80GB
GPU 프로파일링 및 모니터링	모든 인스턴스에서 동시에	한번에 하나의 인스턴스만
안전한 테넌트	7x	1x
미디어 디코더	인스턴스 당 전용 NVJPEG 및 NVDEC	제한된 옵션

예비 사양은 변경될 수 있습니다.

NVIDIA Hopper 아키텍처에 대해 자세히 알아보세요.

백서 읽기

NVIDIA Ampere 아키텍처에 대해 자세히 알아보세요.