Очень большие глубокие нейронные сети (DNN), независимо от того, применяются ли они для обработки естественного языка (например, GPT-3), компьютерного зрения (например, огромные архитектуры Vision Transformer) или разговорного ИИ (например, Wave2Vec 2), обладают определенными свойствами, которые отличают их от аналогов меньшего масштаба. По мере того, как DNN становятся больше и тренируются на все более крупных наборах данных, они могут адаптироваться к новым задачам с помощью всего нескольких обучающих примеров, ускоряя путь к общему искусственному интеллекту. Модели обучения, содержащие от десятков до сотен миллиардов параметров в обширных наборах данных, не являются тривиальными и требуют уникального сочетания ИИ, высокопроизводительных вычислений (HPC) и системных знаний. Цель этого курса — продемонстрировать обучение крупнейших нейронных сетей и их развертывание в рабочей среде.

 

Цели обучения
 

На этом практикуме вам предстоит:
  • Обучить нейронные сети на нескольких серверах.
  • Использовать такие методы, как контрольные точки активации, накопление градиента и различные формы параллелизма моделей, чтобы преодолеть проблемы, связанные с объемом памяти, необходимым для крупных моделей.
  • Получить и проанализировать характеристики эффективности обучения для оптимизации архитектуры модели.
  • Развертывать очень большие модели с несколькими графическими процессорами в рабочей среде с помощью сервера для инференса NVIDIA Triton™.

Скачать описание практикума (PDF, 47 KБ)

Краткое описание практикума

Введение
(15 мин)
  • Познакомьтесь с инструктором.
  • Создайте аккаунт на сайте courses.nvidia.com/join.
Введение в обучение больших моделей
(120 мин)
  • Узнайте об актуальности и основных проблемах обучения больших моделей.
  • Ознакомьтесь с основными методами и инструментами, необходимыми для обучения больших моделей.
  • Узнайте о распределенном обучении и планировщике заданий Slurm.
  • Обучите модель GPT на основе Megatron LM, используя параллелизм данных.
  • Профилируйте процесс обучения и анализируйте эффективность выполнения.
Перерыв (15 мин)
Параллелизм моделей: дополнительные темы
(120 мин)
  • Увеличьте размер модели, используя различные методы экономии памяти.
  • Получите представление о тензорном и конвейерном параллелизме.
  • Выйдите за рамки обработки естественного языка и познакомьтесь с DeepSpeed.
  • Автоматически настройте производительность модели.
  • Узнайте о моделях коллектива экспертов.
Перерыв (15 мин)
Инференс больших моделей
(120 мин)
  • Узнайте о проблемах развертывания, связанных с большими моделями.
  • Изучите методы уменьшения модели.
  • Узнайте, как использовать библиотеки NVIDIA® TensorRT™ и Faster Transformer.
  • Узнайте, как использовать сервер для инференса Triton.
  • Изучите процесс развертывания контрольной точки GPT в рабочей среде.
  • Ознакомьтесь с примером быстрого проектирования.
Подведение итогов
(15 мин)
  • Еще раз ознакомьтесь с основными выводами и ответьте на вопросы
  • Завершите тестирование и получите сертификат
  • Пройдите опрос
  • Узнайте, как настроить собственную среду для разработки приложений ИИ.
Что дальше?
 

Информация о практикуме

Продолжительность: 8 часов

Цена: для уточнения стоимости свяжитесь с нами.

Обязательные требования:

Технологии: PyTorch, Megatron-LM, DeepSpeed, Slurm, сервер для инференса Triton, NVIDIA Nsight™

Сертификат: после успешного завершения тестирования участники получат сертификат NVIDIA DLI для подтверждения своей квалификации и дальнейшего карьерного роста.

Аппаратные требования: ПК или ноутбук с поддержкой последней версии Chrome или Firefox. Каждому участнику будет предоставлен доступ к полностью настроенной облачной рабочей станции с ускорением на GPU.

Языки: английский

Предстоящие практикумы

Европа/Ближний Восток/Африка

четверг, 26 августа 2021 г.
9:00–17:00 (UTC+2)

Если ваша компания заинтересована в развитии навыков в работе с ИИ, ускоренными анализом данных и вычислениями, начните обучение под руководством инструктора с помощью решений от NVIDIA DLI.

Продолжите обучение с другими практикумами от DLI

У вас возникли вопросы?