Технология Multi-Instance GPU (MIG) повышает производительность каждого ускорителя NVIDIA A100 с тензорными ядрами. MIG позволяет разделить A100 на семь полностью изолированных инстансов, оснащенных памятью с высокой пропускной способностью, кэшем и вычислительными ядрами. Теперь администраторы могут обеспечить нагрузки любой сложности, предлагая оптимальный размер GPU с гарантированным качеством обслуживания (QoS) для каждой задачи, повышая утилизацию и предоставляя доступ к ресурсам для ускоренных вычислений большему числу пользователей.
Благодаря MIG вы можете получить до 7 раз больше ресурсов на одном GPU A100. Технология предоставляет исследователям и разработчикам больше ресурсов и гибкости, чем когда-либо прежде.
MIG обеспечивает высокую гибкость размеров инстансов, благодаря чему можно выбрать оптимальный размер GPU для каждой рабочей нагрузки, и в конечном счете, повысить утилизацию и максимизировать выгоду от вложений в дата-центр.
MIG позволяет одновременно выполнять нагрузки инференса, тренировки и высокопроизводительных вычислений (HPC) на одном GPU с детерминированной задержкой и пропускной способностью.
Без MIG различные задачи, выполняемые на одном GPU, такие как запросы инференса ИИ, используют одни и те же ресурсы, например, пропускную способность памяти. Задачи, потребляющие большое количество памяти, также влияют и на другие нагрузки, и в результате задержка увеличивается для всех задач. С технологией MIG задачи выполняются одновременно на разных инстансах, каждый из которых оснащен специализированными ресурсами для вычислений, памятью и пропускной способностью, что обеспечивает предсказуемую производительность, качество обслуживания и утилизацию GPU.
GPU NVIDIA A100 можно разделить на инстансы разного размера. Например, администратор может создать два инстанса с 20 Гб памяти каждый, три инстанса с 10 Гб или семь с 5 Гб, а также их комбинации. Это позволяет предоставить пользователям GPU оптимального размера для разных типов нагрузки.
Конфигурацию инстансов MIG можно динамически менять, и это позволяет администраторам перераспределять ресурсы GPU в зависимости от пользователя и задач компании. Например, семь инстансов MIG можно использовать в течение дня для не очень ресурсоемкого инференса и объединить их в один инстанс для тренировки алгоритмов глубокого обучения ночью.
Каждый инстанс MIG оснащен специализированным набором аппаратных ресурсов для вычислений, памяти и кэша, что обеспечивает высокое качество услуг и изоляцию неисправностей. Это означает, что сбой приложения на одном инстансе не повлияет на приложения, запущенные на других инстансах. Разные инстансы могут выполнять различные типы нагрузок: разработку моделей, тренировку алгоритмов глубокого обучения, инференс ИИ или запуск приложений для НРС. Так как инстансы работают параллельно, рабочие нагрузки также выполняются параллельно, но обособленно и безопасно, на одном физическом ускорителе GPU A100.
MIG оптимально подходит для таких задач, как разработка моделей ИИ и инференс с низкой задержкой. Нагрузки могут использовать все возможности A100 и размещаться в выделенной памяти каждого инстранса.
В демо одновременно выполняются задачи ИИ и высокопроизводительных вычислений (HPC) на одном ускорителе A100.
Демо показывает производительность инференса на одном инстансе MIG и затем масштабирование на все ресурсы A100.
Технология MIG призвана упростить работу инженеров и разработчиков.
Каждый инстанс MIG работает как автономный GPU, поэтому для запуска приложений не нужно менять модель CUDA®. Модели ИИ и контейнеризированные приложения для HPC, например из NGC™, можно непосредственно запускать на инстансе MIG с помощью среды исполнения NVIDIA. Инстансы MIG представлены как дополнительные ресурсы GPU в решениях для управления контейнерами, например Kubernetes, которые могут планировать запуск контейнеризированных приложений на инстансах GPU. Эта функция будет доступна в ближайшее время через плагин NVIDIA для Kubernetes
Компании могут использовать различные преимущества виртуализации серверов с гипервизором на инстансах MIG с помощью ПО NVIDIA Virtual Compute Server (vCS), в том числе живую миграцию и многоарендность.
Подробный обзор архитектуры NVIDIA Ampere