На этом практикуме вы изучите методы обучения глубоких нейронных сетей с технологией Multi-GPU, которые позволят сократить время, необходимое для тренировки. С помощью инструментов, фреймворков и задач для обучения нейросетей вы узнаете о концепциях внедрения multi-GPU Horovod для упрощения написания эффективного распределенного ПО и точной тренировки моделей на нескольких GPU.

 

Цели обучения


После завершения этого практикума вы узнаете о:
  • Методе стохастического градиентного спуска (SGD), который является важнейшим инструментом для параллельного обучения
  • Размере пакета и его влиянии на время обучения и точность
  • Трансформации одной GPU-системы в multi-GPU Horovod
  • Методах поддержания высокой точности при обучении на нескольких GPU

Скачать описание практикума (PDF, 73,3 KБ)

Краткое описание практикума

Введение
(15 мин)
  • Знакомство с инструктором
  • Создание аккаунта на courses.nvidia.com/join
Метод стохастического градиентного спуска и размер пакета
(120 мин)
  • Изучите проблемы, возникающие при последовательной однопоточной обработке данных, и ускорение приложений с помощью параллельной обработки
  • Исследуйте функцию потерь, градиентный спуск и SGD
  • Узнайте о влиянии размера пакета на точность и время обучения.
Перерыв (60 мин)
Обучение на нескольких GPU с Horovod
(120 мин)
  • Узнайте о преимуществах обучения на нескольких GPU с Horovod
  • Научитесь трансформировать обучение на одном GPU на наборе данных Fashion-MNIST в multi-GPU Horovod
Перерыв (15 мин)
Поддержание точности модели при масштабировании до нескольких GPU
(120 мин)
  • Узнайте, почему точность может снизиться при параллельном обучении на нескольких GPU
  • Изучите инструменты для поддержания точности при обучении на нескольких GPU
Окончательный анализ
(15 мин)
  • Еще раз ознакомьтесь с основными выводами и ответьте на вопросы
  • Завершите тестирование и получите сертификат
  • Пройдите опрос
  • Узнайте, как создать свою собственную среду приложений ИИ
 

Информация о практикуме

Продолжительность: 8 часов

Цена: для уточнения стоимости свяжитесь с нами.

Необходимые требования: опыт работы с обучением моделей методом градиентного спуска

Технологии: TensorFlow, Keras, Horovod

Метод контроля: код

Сертификат: После успешного завершения тестирования участники получат сертификат NVIDIA DLI для подтверждения своей квалификации и дальнейшего карьерного роста.

Аппаратные требования: ПК или ноутбук с поддержкой последней версии Chrome или Firefox. Каждому участнику будет предоставлен доступ к полностью настроенному облачному серверу с ускорением на GPU.

Языки: английский,  корейский, упрощенный китайский, традиционный китайский

У вас возникли вопросы?