NeMo Megatron은 매개변수가 수십억 또는 수조 개인 LLM을 트레이닝 및 배포하기 위한 엔드 투 엔드 프레임워크입니다.
컨테이너화된 프레임워크는 수천 개의 GPU 전반적으로 트레이닝 효율성이 높고 기업이 현실에서 대규모 모델을 구축 및 배포할 수 있습니다. 이 시스템은 복수의 GPU 및 노드에서 대규모 모델을 실행하도록 트레이닝 데이터를 선별하고, 대규모 모델의 매개변수를 최대 수조 개까지 트레이닝하며, 유도 학습을 사용하여 맞춤화하고, NVIDIA Triton™ 추론 서버를 사용하여 배포하는 기능을 제공합니다.
NeMo Megaton은 NVIDIA DGX™ Foundry, NVIDIA DGX SuperPOD™, Amazon Web Services, Oracle Cloud Infrastructure, Microsoft Azure 및 Oracle Cloud Infrastructure에서 실행되도록 최적화되었습니다.