Последние десять лет приложения для обработки естественного языка (NLP) переживают невероятную популярность. С распространением ИИ-помощников и компаний, использующих в своей работе взаимодействие людей и машин, чрезвычайно важным становится понимание того, как использовать методы обработки естественного языка для управления, анализа и генерирования данных на основе текстов. Современные технологии могут понимать нюансы, контекст и сложность языка, как это делает человек. При правильной разработке специалисты могут использовать эти методы для создания эффективных NLP-приложений, которые обеспечивают естественное и комфортное взаимодействие человека и компьютера через чат-боты, голосовых агентов на базе ИИ и других посредников. 

Модели глубокого обучения обрели широкую популярность для задач NLP благодаря способности точного обобщения данных для различных контекстов и языков. Модели с архитектурой Transformer, например Bidirectional Encoder Representations from Transformers (BERT), произвели революцию в NLP, обеспечив точность, сопоставимую с результатами человека в бенчмарках, таких как SQuAD, для вопросов на ответы, распознавания сущностей, намерений, анализа эмоций и других задач. 

На этом практикуме вы узнаете, как применять модели обработки естественного языка на базе архитектуры Transformer для задач классификации текста, таких как категоризация документов. Вы также узнаете, как использовать такие модели для задач распознавания именованных сущностей (NER) и как анализировать различные функции, ограничения и характеристики, чтобы определять оптимальную модель для конкретного сценария в зависимости от метрик, специфики области и доступных ресурсов.

 

Цели обучения


На этом практикуме вам предстоит:
  • Узнать, как быстро развивались векторные представления текстов в задачах NLP, такие как Word2Vec, векторные представления на основе рекуррентных нейросетей (RNN) и архитектура Transformer
  • Узнать об использовании функций архитектуры Transformer, особенно механизма самовнимания (self-attention), для создания языковых моделей без RNN
  • Использовать самоконтроль для улучшения архитектуры Transformer в BERT, Megatron и других моделях для получения отличных результатов в задачах NLP  
  • Использовать предварительно обученные современные модели для NLP при решении различных задач, таких как классификация текстов, NER и ответы на вопросы
  • Устранять сложности инференса и развертывать усовершенствованные модели для работающих приложений 

Скачать описание практикума (PDF, 71,9 KБ)

Краткое описание практикума

Введение
(15 мин)
  • Знакомство с инструктором
  • Создание аккаунта на courses.nvidia.com/join
Введение в Transformer
(120 мин)
    Узнайте, как работает архитектура Transformer:
    • Постройте архитектуру Transformer в PyTorch
    • Рассчитайте матрицу самовнимания (self-attention)
    • Переведите текст с английского на немецкий с помощью предварительно подготовленного алгоритма Transformer
Перерыв (60 мин)
Самоконтроль, BERT и многое другое
(120 мин)
    Узнайте, как применять алгоритмы Transformer с самоконтролем к конкретным NLP-задачам с помощью NVIDIA NeMo:
    • Создайте проект по классификации текста для классификации абстракций
    • Создайте проект NER для поиска названий болезней в тексте
    • Улучшите точность проекта с помощью специальных моделей
Перерыв (15 мин)
Инференс и развертывание NLP
(120 мин)
  • Узнайте, как развернуть NLP-проект для инференса на NVIDIA Triton:
  • Подготовьте модель к развертыванию
  • Оптимизируйте модель с помощью NVIDIA® TensorRT
  • Разверните модель и проведите ее тестирование
Окончательный анализ
(15 мин)
  • Еще раз ознакомьтесь с основными выводами и ответьте на вопросы
  • Завершите тестирование и получите сертификат
  • Пройдите опрос
  • Узнайте, как создать свою собственную среду, а также обсудите дополнительные материалы и практикумы.
 

Информация о практикуме

Продолжительность: 8 часов

Цена: для уточнения стоимости свяжитесь с нами.  

Необходимые требования:

  • Опыт кодирования на Python и использования библиотечных функций и параметров 
  • Фундаментальные знания фреймворка глубокого обучения, например TensorFlow, PyTorch или Keras
  • Базовые знания нейронных сетей

Предлагаемые материалы для подготовки к участию в тренинге: Обучение Python, Обзор фреймворков глубокого обучения, Обучение PyTorch, Коротко о глубоком обучении, Раскрываем секреты глубокого обучения

Технологии: : PyTorch, pandas, NVIDIA NeMo, Сервер для инференса NVIDIA Triton

Метод контроля

  • Тестирования проводятся на основе навыков, полученных во время практикума, и оценивают способность студентов создавать задачу NLP, включая нейронную модель и обучение.
  • Вопросы с множественными вариантами ответов оценивают понимание учащимися концепций NLP, представленных во время практикума.

Сертификат: После успешного завершения тестирования участники получат сертификат NVIDIA DLI для подтверждения своей квалификации и дальнейшего карьерного роста.

Аппаратные требования: ПК или ноутбук с поддержкой последней версии Chrome или Firefox. Каждому участнику будет предоставлен доступ к полностью настроенному облачному серверу с ускорением на GPU.

Языки: Английский, упрощенный китайский

Предстоящие практикумы

Европа/Ближний Восток/Африка

среда, 7 июля 2021 г.
10:00–18:00 (МСК)

У вас возникли вопросы?