NeMo Megatron — это сквозной фреймворк для обучения и развертывания LLM с миллиардами или триллионами параметров.
Контейнеризованный фреймворк обеспечивает высокую эффективность обучения на тысячах графических процессоров и позволяет предприятиям создавать и развертывать крупномасштабные модели. Он предоставляет возможности для сбора данных для обучения, обучения крупномасштабных моделей с триллионами параметров, настройки с помощью быстрого обучения и развертывания с использованием сервера для инференса NVIDIA Triton™, где крупномасштабные модели обрабатываются на нескольких графических процессорах и нескольких узлах.
NeMo Megaton оптимизирован для работы на NVIDIA DGX™ Foundry, NVIDIA DGX SuperPOD™, Amazon Web Services, Microsoft Azure и Oracle Cloud Infrastructure.