Последние десять лет приложения для обработки естественного языка (NLP) переживают невероятную популярность. С распространением ИИ-помощников и компаний, использующих в своей работе взаимодействие людей и машин, чрезвычайно важным становится понимание того, как использовать методы обработки естественного языка для управления, анализа и генерирования данных на основе текстов. Современные технологии могут понимать нюансы, контекст и сложность языка, как это делает человек. При правильной разработке специалисты могут использовать эти методы для создания эффективных NLP-приложений, которые обеспечивают естественное и комфортное взаимодействие человека и компьютера через чат-боты, голосовых агентов на базе ИИ и других посредников.
Модели глубокого обучения обрели широкую популярность для задач NLP благодаря способности точного обобщения данных для различных контекстов и языков. Модели с архитектурой Transformer, например Bidirectional Encoder Representations from Transformers (BERT), произвели революцию в NLP, обеспечив точность, сопоставимую с результатами человека в бенчмарках, таких как SQuAD, для вопросов на ответы, распознавания сущностей, намерений, анализа эмоций и других задач.
На этом практикуме вы узнаете, как применять модели обработки естественного языка на базе архитектуры Transformer для задач классификации текста, таких как категоризация документов. Вы также узнаете, как использовать такие модели для задач распознавания именованных сущностей (NER) и как анализировать различные функции, ограничения и характеристики, чтобы определять оптимальную модель для конкретного сценария в зависимости от метрик, специфики области и доступных ресурсов.
Цели обучения
На этом практикуме вам предстоит:
- Узнать, как быстро развивались векторные представления текстов в задачах NLP, такие как Word2Vec, векторные представления на основе рекуррентных нейросетей (RNN) и архитектура Transformer
- Узнать об использовании функций архитектуры Transformer, особенно механизма самовнимания (self-attention), для создания языковых моделей без RNN
- Использовать самоконтроль для улучшения архитектуры Transformer в BERT, Megatron и других моделях для получения отличных результатов в задачах NLP
- Использовать предварительно обученные современные модели для NLP при решении различных задач, таких как классификация текстов, NER и ответы на вопросы
- Устранять сложности инференса и развертывать усовершенствованные модели для работающих приложений
Скачать описание практикума (PDF, 71,9 KБ)