Очень большие глубокие нейронные сети (DNN), независимо от того, применяются ли они для обработки естественного языка (например, GPT-3), компьютерного зрения (например, огромные архитектуры Vision Transformer) или разговорного ИИ (например, Wave2Vec 2), обладают определенными свойствами, которые отличают их от аналогов меньшего масштаба. По мере того, как DNN становятся больше и тренируются на все более крупных наборах данных, они могут адаптироваться к новым задачам с помощью всего нескольких обучающих примеров, ускоряя путь к общему искусственному интеллекту. Модели обучения, содержащие от десятков до сотен миллиардов параметров в обширных наборах данных, не являются тривиальными и требуют уникального сочетания ИИ, высокопроизводительных вычислений (HPC) и системных знаний. Цель этого курса — продемонстрировать обучение крупнейших нейронных сетей и их развертывание в рабочей среде.

 

Цели обучения
 

На этом практикуме вам предстоит:
  • Обучить нейронные сети на нескольких серверах.
  • Использовать такие методы, как контрольные точки активации, накопление градиента и различные формы параллелизма моделей, чтобы преодолеть проблемы, связанные с объемом памяти, необходимым для крупных моделей.
  • Получить и проанализировать характеристики эффективности обучения для оптимизации архитектуры модели.
  • Развертывать очень большие модели с несколькими графическими процессорами в рабочей среде с помощью сервера для инференса NVIDIA Triton™.

Скачать описание практикума (PDF, 47 KБ)

Краткое описание практикума

Введение
(15 мин)
  • Познакомьтесь с инструктором.
  • Создайте аккаунт на сайте courses.nvidia.com/join.
Введение в обучение больших моделей
(120 мин)
  • Узнайте об актуальности и основных проблемах обучения больших моделей.
  • Ознакомьтесь с основными методами и инструментами, необходимыми для обучения больших моделей.
  • Узнайте о распределенном обучении и планировщике заданий Slurm.
  • Обучите модель GPT на основе Megatron LM, используя параллелизм данных.
  • Профилируйте процесс обучения и анализируйте эффективность выполнения.
Перерыв (15 мин)
Параллелизм моделей: дополнительные темы
(120 мин)
  • Увеличьте размер модели, используя различные методы экономии памяти.
  • Получите представление о тензорном и конвейерном параллелизме.
  • Выйдите за рамки обработки естественного языка и познакомьтесь с DeepSpeed.
  • Автоматически настройте производительность модели.
  • Узнайте о моделях коллектива экспертов.
Перерыв (15 мин)
Инференс больших моделей
(120 мин)
  • Узнайте о проблемах развертывания, связанных с большими моделями.
  • Изучите методы уменьшения модели.
  • Узнайте, как использовать библиотеки NVIDIA® TensorRT™ и Faster Transformer.
  • Узнайте, как использовать сервер для инференса Triton.
  • Изучите процесс развертывания контрольной точки GPT в рабочей среде.
  • Ознакомьтесь с примером быстрого проектирования.
Подведение итогов
(15 мин)
  • Еще раз ознакомьтесь с основными выводами и ответьте на вопросы
  • Завершите тестирование и получите сертификат
  • Пройдите опрос
  • Узнайте, как настроить собственную среду для разработки приложений ИИ.
Что дальше?
 

Информация о практикуме

Продолжительность: 8 часов

Цена: для уточнения стоимости свяжитесь с нами.

Обязательные требования:

Технологии: PyTorch, Megatron-LM, DeepSpeed, Slurm, сервер для инференса Triton, NVIDIA Nsight™

Сертификат: после успешного завершения тестирования участники получат сертификат NVIDIA DLI для подтверждения своей квалификации и дальнейшего карьерного роста.

Аппаратные требования: ПК или ноутбук с поддержкой последней версии Chrome или Firefox. Каждому участнику будет предоставлен доступ к полностью настроенной облачной рабочей станции с ускорением на GPU.

Языки: английский

Предстоящие практикумы

Европа/Ближний Восток/Африка

четверг, 26 августа 2021 г.
9:00–17:00 (UTC+2)

ЗАРЕГИСТРИРОВАТЬСЯ

Если ваша компания заинтересована в развитии навыков в работе с ИИ, ускоренными анализом данных и вычислениями, начните обучение под руководством инструктора с помощью решений от NVIDIA DLI.

Подать заявку

Продолжите обучение с другими практикумами от DLI

ОСНОВЫ
НОВИНКА
 
ОСНОВЫ
НОВИНКА
 
БЕСПИЛОТНОЕ ВОЖДЕНИЕ
НОВИНКА
 
ОСНОВЫ
НОВИНКА
 
ОСНОВЫ
НОВИНКА
 

У вас возникли вопросы?

Свяжитесь с нами, если у вас есть вопросы
о курсах по глубокому обучению

  1. Section
Читайте часто задаваемые вопросы
Услуги Института глубокого обучения (DLI) NVIDIA
Форумы NVIDIA для разработчиков

Сертификат NVIDIA DLI

Участники могут получить сертификат для подтверждения своей квалификации и дальнейшего карьерного роста. Сертификаты доступны не для всех онлайн-курсов и практикумов.

Используйте ваш сертификат от DLI, чтобы подтвердить новые навыки, повысить привлекательность для рекрутеров и продвинуть вперед карьеру. Следуйте этим пошаговым инструкциям, чтобы обновить свой профиль и добавить сертификат к списку ваших достижений.

Решения DLI
Продукты
Технологии
Материалы