This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Практикум под руководством инструктора
Параллелизм моделей: создание и развертывание больших нейронных сетей

Подать заявку на проведение практикума для компании

Сообщите мне о доступности открытых практикумов

Очень большие глубокие нейронные сети (DNN), независимо от того, применяются ли они для обработки естественного языка (например, GPT-3), компьютерного зрения (например, огромные архитектуры Vision Transformer) или разговорного ИИ (например, Wave2Vec 2), обладают определенными свойствами, которые отличают их от аналогов меньшего масштаба. По мере того, как DNN становятся больше и тренируются на все более крупных наборах данных, они могут адаптироваться к новым задачам с помощью всего нескольких обучающих примеров, ускоряя путь к общему искусственному интеллекту. Модели обучения, содержащие от десятков до сотен миллиардов параметров в обширных наборах данных, не являются тривиальными и требуют уникального сочетания ИИ, высокопроизводительных вычислений (HPC) и системных знаний. Цель этого курса — продемонстрировать обучение крупнейших нейронных сетей и их развертывание в рабочей среде.

Цели обучения

На этом практикуме вам предстоит:

Обучить нейронные сети на нескольких серверах.
Использовать такие методы, как контрольные точки активации, накопление градиента и различные формы параллелизма моделей, чтобы преодолеть проблемы, связанные с объемом памяти, необходимым для крупных моделей.
Получить и проанализировать характеристики эффективности обучения для оптимизации архитектуры модели.
Развертывать очень большие модели с несколькими графическими процессорами в рабочей среде с помощью сервера для инференса NVIDIA Triton™.

Скачать описание практикума (PDF, 47 KБ)

Краткое описание практикума

Введение (15 мин)	Познакомьтесь с инструктором. Создайте аккаунт на сайте courses.nvidia.com/join.
Введение в обучение больших моделей (120 мин)	Узнайте об актуальности и основных проблемах обучения больших моделей. Ознакомьтесь с основными методами и инструментами, необходимыми для обучения больших моделей. Узнайте о распределенном обучении и планировщике заданий Slurm. Обучите модель GPT на основе Megatron LM, используя параллелизм данных. Профилируйте процесс обучения и анализируйте эффективность выполнения.
Перерыв (15 мин)
Параллелизм моделей: дополнительные темы (120 мин)	Увеличьте размер модели, используя различные методы экономии памяти. Получите представление о тензорном и конвейерном параллелизме. Выйдите за рамки обработки естественного языка и познакомьтесь с DeepSpeed. Автоматически настройте производительность модели. Узнайте о моделях коллектива экспертов.
Перерыв (15 мин)
Инференс больших моделей (120 мин)	Узнайте о проблемах развертывания, связанных с большими моделями. Изучите методы уменьшения модели. Узнайте, как использовать библиотеки NVIDIA® TensorRT™ и Faster Transformer. Узнайте, как использовать сервер для инференса Triton. Изучите процесс развертывания контрольной точки GPT в рабочей среде. Ознакомьтесь с примером быстрого проектирования.
Подведение итогов (15 мин)	Еще раз ознакомьтесь с основными выводами и ответьте на вопросы Завершите тестирование и получите сертификат Пройдите опрос Узнайте, как настроить собственную среду для разработки приложений ИИ.
Что дальше?	Продолжите обучение с другими практикумами от DLI. Создание приложений разговорного ИИ. Основы глубокого обучения c технологией Multi-GPU. Создание приложений для алгоритмов обработки естественного языка на базе Transformer.

Информация о практикуме

Продолжительность: 8 часов

Цена: для уточнения стоимости свяжитесь с нами.

Обязательные требования:

Правильное понимание среды PyTorch
Правильное понимание принципов глубокого обучения и концепций обучения с параллелизмом данных.
Практические навыки в обучении с использованием технологии Multi-GPU и в обработке естественного языка полезны, но необязательны.

Технологии: PyTorch, Megatron-LM, DeepSpeed, Slurm, сервер для инференса Triton, NVIDIA Nsight™

Сертификат: после успешного завершения тестирования участники получат сертификат NVIDIA DLI для подтверждения своей квалификации и дальнейшего карьерного роста.

Аппаратные требования: ПК или ноутбук с поддержкой последней версии Chrome или Firefox. Каждому участнику будет предоставлен доступ к полностью настроенной облачной рабочей станции с ускорением на GPU.

Языки: английский

Предстоящие практикумы

Европа/Ближний Восток/Африка

четверг, 26 августа 2021 г.
9:00–17:00 (UTC+2)

ЗАРЕГИСТРИРОВАТЬСЯ

Если ваша компания заинтересована в развитии навыков в работе с ИИ, ускоренными анализом данных и вычислениями, начните обучение под руководством инструктора с помощью решений от NVIDIA DLI.

Подать заявку

Продолжите обучение с другими практикумами от DLI

ОСНОВЫ

НОВИНКА

Начало работы с сегментацией изображений

2 часа | XXXX руб. | TensorFlow

Возможно получение сертификата после обучения

ОСНОВЫ

НОВИНКА

Моделирование данных временного ряда с помощью рекуррентных нейронных сетей в Keras

2 часа | XXXX руб. | Keras

БЕСПИЛОТНОЕ ВОЖДЕНИЕ

НОВИНКА

Создание приложений для алгоритмов обработки естественного языка на базе Transformer

8 часов | PyTorch, pandas, NVIDIA NeMo™, сервер для инференса NVIDIA Triton™

Возможно получение сертификата после обучения

ОСНОВЫ

НОВИНКА

Создание интеллектуальных рекомендательных систем

8 часов | cuDF, CuPy, TensorFlow 2, сервер для инференса NVIDIA Triton

Возможно получение сертификата после обучения

ОСНОВЫ

НОВИНКА

Основы глубокого обучения c технологией Multi-GPU

8 часов | Python, Tensorflow

Возможно получение сертификата после обучения

У вас возникли вопросы?

Свяжитесь с нами, если у вас есть вопросы
о курсах по глубокому обучению

Section

Section

Имя

Фамилия

Рабочий адрес электронной почты

Название организации/университета

Отрасль

Занимаемая должность

Страна

Город

State

Причина обращения:

nvid hidden field

ncid hidden field

Положение о конфиденциальности NVIDIA

Я согласен на сбор и обработку вышеуказанной информации компанией NVIDIA Corporation для целей проведения исследований и организации мероприятий, и я прочитал и согласен с <a href="https://www.nvidia.com/ru-ru/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">Политика конфиденциальности NVIDIA</a>.

Я согласен с тем, что вышеуказанная информация будет передана корпорации NVIDIA в США и храниться в соответствии с <a href="https://www.nvidia.com/ro-ro/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">Политика конфиденциальности NVIDIA</a> в связи с необходимостью проведения исследований, организации мероприятий и соответствующих внутренних управленческих и системных операций NVIDIA. Вы можете связаться с нами, отправив электронное письмо по адресу <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> для решения связанных проблем.

Практикум под руководством инструктора
Параллелизм моделей: создание и развертывание больших нейронных сетей

Цели обучения

Краткое описание практикума

Информация о практикуме

Предстоящие практикумы

Европа/Ближний Восток/Африка

Продолжите обучение с другими практикумами от DLI

Начало работы с сегментацией изображений

Моделирование данных временного ряда с помощью рекуррентных нейронных сетей в Keras

Создание приложений для алгоритмов обработки естественного языка на базе Transformer

Создание интеллектуальных рекомендательных систем

Основы глубокого обучения c технологией Multi-GPU

У вас возникли вопросы?

Свяжитесь с нами, если у вас есть вопросы
о курсах по глубокому обучению

Читайте часто задаваемые вопросы

Узнайте об услугах Института глубокого обучения (DLI) NVIDIA

Ответы на технические вопросы можно найти на форумах разработчиков NVIDIA.

Сертификат NVIDIA DLI

Практикум под руководством инструктора Параллелизм моделей: создание и развертывание больших нейронных сетей

Цели обучения

Краткое описание практикума

Информация о практикуме

Предстоящие практикумы

Европа/Ближний Восток/Африка

Продолжите обучение с другими практикумами от DLI

У вас возникли вопросы?

Свяжитесь с нами, если у вас есть вопросы о курсах по глубокому обучению

Сертификат NVIDIA DLI

Практикум под руководством инструктора
Параллелизм моделей: создание и развертывание больших нейронных сетей

Свяжитесь с нами, если у вас есть вопросы
о курсах по глубокому обучению