지난 10년 사이에 자연어 처리(NLP)를 위한 애플리케이션이 폭발적으로 증가했습니다. AI 도우미가 확산되고 조직에서 비즈니스에 더 많은 인터랙티브 인간/기계 경험을 도입함에 따라, NLP 기술을 사용하여 텍스트 기반 데이터를 조작, 분석 및 생성할 수 있는 방법을 이해하는 것이 필수적입니다. 첨단 기술을 사용하여 인간과 같은 방식으로 언어의 뉘앙스, 맥락, 섬세함을 포착할 수 있습니다. 또한 올바르게 설계될 경우, 개발자는 이러한 기술을 사용하여 챗봇, AI Voice Agent 등에서 자연스럽고 원활한 인간-컴퓨터 상호 작용을 제공하는 강력한 NLP 애플리케이션을 구축할 수 있습니다.
딥 러닝 모델은 다양한 컨텍스트와 언어에 걸쳐 정확하게 일반화하는 기능 덕분에 NLP와 관련해 폭넓은 인기를 얻고 있습니다. Bidirectional Encoder Representations from Transformers(BERT) 등의 트랜스포머 기반 모델은 질문-답변, 엔터티 인식, 의도 인식, 감정 분석 등을 위한 SQuAD 등의 벤치마크에서 인간 기준선과 유사한 정확도를 제공해 NLP 발전에 혁신을 일으켰습니다. NVIDIA에서는 첨단 NLP 모델을 빠르게 구축하는 데 도움이 되는 소프트웨어와 하드웨어를 제공합니다. 혼합 정밀도를 통해 트레이닝 프로세스를 최대 4.5배 가속화할 수 있으며 정확도를 저해하지 않고 여러 서버 노드 전반의 멀티 GPU로 성능을 손쉽게 확장할 수 있습니다.
이 워크숍에서는 문서 분류 등의 텍스트 분류 작업에 트랜스포머 기반 자연어 처리 모델을 사용하는 방법을 배우게 됩니다. 또한 명명된 엔터티 인식(NER) 작업을 위해 트랜스포터 기반 모델을 활용하는 방법과 지표, 도메인 특수성, 사용 가능한 리소스를 바탕으로 특정 사용 사례에 가장 적합한 모델이 어느 것인지 결정하기 위해 다양한 모델 기능, 구속 조건 및 특성을 분석하는 방법도 배웁니다.
이 워크숍에 참여함으로써 다음을 수행할 수 있게 됩니다.
- Word2Vec, 순환 뉴럴 네트워크(RNN) 기반 임베딩, 트랜스포머 등의 NLP 작업에서 텍스트 임베딩이 빠르게 진화한 방식 이해
- RNN 없이 트랜스포머 아키텍처 기능, 특히 셀프 어텐션 기능을 사용하여 언어 모델을 생성하는 방법 확인
- 셀프 수퍼비전 기능을 사용해 BERT, Megatron, 기타 이형의 트랜스포머 아키텍처를 개선하여 뛰어난 NLP 결과 달성
- 사전 트레이닝된 첨단 NLP 모델을 사용하여 텍스트 분류, NER, 질문-답변 등의 여러 작업 해결
- 추론 과제를 관리하고 실시간 애플리케이션을 위해 개선된 모델 배포
전제 조건:
- Python 코딩 경험과 라이브러리 함수 및 매개변수 사용
- TensorFlow, PyTorch 또는 Keras 등의 딥 러닝 프레임워크에 대한 기본적 이해
- 뉴럴 네트워크에 대한 기본적 이해
도구, 라이브러리, 프레임워크: PyTorch, pandas, NVIDIA NeMo™, NVIDIA Triton™ Inference Server