NVIDIA 멀티 인스턴스 GPU

GPU는 다양한 크기의 MIG 인스턴스로 파티셔닝할 수 있습니다. 예를 들어, NVIDIA A100 40GB에서 관리자는 각각 20GB 메모리의 인스턴스 2개를 생성하거나 각각 10GB의 인스턴스 3개 또는 각각 5GB의 인스턴스 7개를 생성할 수 있습니다. 그런 인스턴스를 혼합할 수도 있습니다. 

MIG 인스턴스는 또한 동적으로 재구성할 수 있으므로, 관리자는 변화하는 사용자 및 비즈니스 수요에 대응하여 GPU 리소스를 전환할 수 있습니다. 예를 들어, 주간에는 7개의 MIG 인스턴스를 사용하여 낮은 처리량을 추론하고 야간에는 하나의 대형 MIG 인스턴스로 재구성하여 딥 러닝 교육을 받을 수 있습니다.

컴퓨팅, 메모리, 캐시를 위한 전용 하드웨어 리소스 세트를 통해 각 MIG 인스턴스는 보장된 서비스 품질 및 결함 격리를 제공합니다. 따라서 하나의 인스턴스에서 실행되는 애플리케이션에 오류가 발생해도 다른 인스턴스에서 실행되는 애플리케이션에 영향을 주지 않습니다.

이는 또한 서로 다른 인스턴스에서 대화식 모델 개발, 딥 러닝 트레이닝, AI 추론, HPC 애플리케이션과 같은 서로 다른 유형의 워크로드를 실행할 수 있음을 의미합니다. 인스턴스가 병렬로 실행되므로 워크로드 역시 병렬로 실행되지만, 동일한 물리적 GPU에서 분리되고 격리됩니다.