NVIDIA MIG(Multi-Instance GPU)

단일 GPU에서의 7개 가속기

MIG(Multi-Instance GPU)는 각 NVIDIA A100 Tensor Core GPU의 성능과 가치를 향상시킵니다. MIG는 A100 GPU를 각각 자체 고대역폭 메모리, 캐시, 컴퓨팅 코어를 갖추고 완전하게 격리된 최대 7개의 인스턴스로 파티셔닝할 수 있습니다. 이제 관리자는 가장 소규모부터 가장 대규모까지 아우르는 모든 워크로드를 지원할 수 있으므로 모든 작업에 대해 보장된 서비스 품질로 적합한 크기의 GPU를 제공해 활용을 최적화하고 가속화된 컴퓨팅 리소스의 범위를 모든 사용자로 확장할 수 있습니다.

제품 개요

보다 많은 사용자에게 확장된 GPU 액세스 제공

보다 많은 사용자에게 확장된 GPU 액세스 제공

MIG를 사용하여 단일 A100 GPU에서 최대 7배 더 많은 GPU 리소스를 달성할 수 있습니다. MIG는 연구자와 개발자에게 그 어느 때보다 더 많은 리소스와 유연성을 제공합니다.

GPU 활용성 최적화

GPU 활용성 최적화

MIG는 여러 다양한 인스턴스 크기를 선택할 수 있는 유연성을 제공하여 각 워크로드에 적절한 크기의 GPU를 프로비저닝할 수 있으므로 궁극적으로 최적의 활용률을 제공하고 데이터센터 투자를 극대화할 수 있습니다.

동시 혼합 워크로드 실행

동시 혼합 워크로드 실행

MIG를 사용하면 확정된 지연 시간 및 처리량으로 단일 GPU에서 추론, 트레이닝, 고성능 컴퓨팅(HPC) 워크로드를 동시에 실행할 수 있습니다. 

기술 작동 방법

MIG 없이 동일한 GPU에서 서로 다른 AI 추론 요청 등의 다양한 작업을 실행하면 메모리 대역폭같은 동일한 리소스를 두고 서로 경쟁하게 됩니다. 더 큰 메모리 대역폭을 소비하는 작업이 다른 작업을 방해하여 일부 작업은 지연 시간 목표를 달성하지 못하는 결과가 발생합니다. MIG를 사용하면 작업이 컴퓨팅, 메모리 및 메모리 대역폭을 위한 전용 리소스를 갖춘 서로 다른 인스턴스에서 동시에 실행되므로 양질의 서비스와 GPU 활용 극대화를 통해 예측 가능한 성능을 얻을 수 있습니다.

멀티 인스턴스 GPU를 통한 성능 및 활용도 향상

궁극의 데이터센터 유연성 달성

NVIDIA A100 GPU는 다양한 크기의 MIG 인스턴스로 파티셔닝할 수 있습니다. 예를 들어, 관리자는 각각 20GB 메모리의 인스턴스 2개를 생성하거나 10GB의 인스턴스 3개 또는 5GB의 인스턴스 7개를 생성할 수 있습니다. 또는 이들을 혼합할 수 있습니다. 따라서 시스템 관리자는 다양한 유형의 워크로드에 대해 적절한 크기의 GPU를 사용자에게 제공할 수 있습니다.

MIG 인스턴스는 또한 동적으로 재구성할 수 있어 관리자가 변화하는 사용자 및 비즈니스 수요에 대응하여 GPU 리소스를 전환할 수 있습니다. 예를 들어, 7개의 MIG 인스턴스는 낮에는 낮은 처리량 추론에 사용되고 야간에는 딥 러닝 트레이닝을 위한 1개의 대규모 MIG 인스턴스로 재구성될 수 있습니다.

탁월한 서비스 품질 제공

각 MIG 인스턴스는 컴퓨팅, 메모리, 캐시에 대한 전용 하드웨어 리소스 세트를 포함하여 워크로드에 대해 효과적인 서비스 품질(QoS)와 결함 격리를 제공합니다. 따라서 한 개 인스턴스에서 실행되는 애플리케이션에 오류가 발생해도 다른 인스턴스에서 실행되는 애플리케이션에 영향을 주지 않습니다. 또한 다른 인스턴스에서 대화식 모델 개발, 딥 러닝 트레이닝, AI 추론 또는 HPC 애플리케이션과 같은 각기 다른 유형의 워크로드를 실행할 수 있습니다. 인스턴스는 병렬로 실행되므로 워크로드 역시 병렬로 실행되지만 동일한 물리적 A100 GPU에서 별도로 안전하게 실행됩니다.

MIG는 AI 모델 개발 및 낮은 지연 시간 추론과 같은 워크로드에 매우 적합합니다. 이러한 워크로드는 A100의 기능을 최대한 활용할 수 있고 각 인스턴스의 할당된 메모리에 적합합니다.

IT와 DevOps 팀을 위해 구축

MIG는 IT 및 데브옵스 팀에서 간편하게 배포하도록 구축되었습니다.

각 MIG 인스턴스는 애플리케이션에 대해 독립형 GPU와 같이 동작하므로 CUDA® 프로그래밍 모델이 변경되지 않습니다. NGC™에서와 같이 컨테이너의 AI 모델과 HPC 애플리케이션은 NVIDIA 컨테이너 런타임으로 MIG 인스턴스에서 직접 실행할 수 있습니다. MIG 인스턴스는 특정 GPU 인스턴스에서 실행되도록 컨테이너화된 워크로드를 예약할 수 있는 Kubernetes와 같은 컨테이너 오케스트레이터에서 추가 GPU 리소스입니다. 이 기능은 Kubernetes를 위한 NVIDIA 디바이스 플러그인을 통해 곧 제공됩니다.

조직에서는 NVIDIA 가상 컴퓨팅 서버(vCS)를 포함하는 MIG GPU 인스턴스에서 실시간 마이그레이션 및 멀티 테넌시를 포함하는 하이퍼바이저 기반 서버 가상화의 관리, 모니터링, 운영 혜택을 활용할 수 있습니다.

NVIDIA Ampere 아키텍처에 대해 자세히 알아보십시오.