Korea LLM
Developer Day

이 세션에서는 특정 하드웨어나 모델 학습, 까다로운 배포 없이도 바로 사용할 수 있는 대중적인 LLM API를 사용해 실제 비즈니스 데이터에서 LLM 기반 시스템을 설계하고 구현하는 구체적인 방법을 소개합니다. 모델에 대한 효과적인 입력("프롬프트")을 설계하는 기법과 비즈니스 데이터베이스를 포함한 다른 시스템과 LangChain과 같은 워크플로우 프레임워크를 통해 LLM을 활용하는 방법에 대해 논의할 것입니다. 참석자들은 실질적인 비즈니스 성과를 창출할 수 있는 LLM 시스템을 구축할 수 있는 실질적인 기술을 배우게 됩니다.

이번 세션에서는 LLM을 도메인별 애플리케이션에 맞게 튜닝하여 기성 API의 품질 한계를 뛰어넘을 수 있는 방법을 소개합니다. 데이터 세트를 준비하는 전략을 논의하고, 해당 데이터 세트에 대한 파인튜닝 방법을 비교하며, 파인튜닝이 NVIDIA 사용 사례에 미친 영향에 대한 예를 보여줄 것입니다. 참석자들은 API 기반 및 자체 관리형 LLM 모두에 적용할 수 있는 기술을 배우게 됩니다.

이 세션에서는 규모 있는 LLM 서비스를 운영하는 조직을 대상으로 자체 관리 중인 하드웨어 - 클라우드 또는 온프레미스에서 LLM 최적화 및 배포 과정을 통해 가시적인 효율성, 데이터 거버넌스, 비용 개선 효과를 얻을 수 있다는 점을 보여드립니다. 이 세션에서는 일반적으로 사용 가능한 하드웨어에서 실행할 수 있는 상용 라이센스가 있는 개방형 LLM에 대해 논의하고, 옵티마이저를 사용하여 지연 시간을 단축하고 처리량을 높여 컴퓨팅 요구 사항을 줄이는 방법을 보여드립니다. 참석자들은 비즈니스 요구사항에 맞게 자체 관리형 LLM을 확장할 수 있는 능력을 갖추게 됩니다. 더불어, 사용자가 LLM을 정의하고 멀티 노드 GPU에서 추론 최적화 TensorRT 엔진을 빌드할 수 있는 TensorRT-LLM의 최신 기술 업데이트를 함께 살펴봅니다.