NeMo Megatron è un framework completo per il training e la distribuzione di LLM con miliardi di parametri.
Il framework containerizzato offre un'elevata efficienza di training su migliaia di GPU e rende più pratica la creazione e la distribuzione di modelli su larga scala. Offre la capacità di gestire i dati di training, di addestrare modelli su larga scala con milioni di miliardi di parametri, di personalizzarli con il training rapido e di distribuirli con NVIDIA Triton™ Inference Server per eseguirli su larga scala su più GPU e più nodi.
NeMo Megaton è ottimizzato per l'esecuzione su NVIDIA DGX™ Foundry, NVIDIA DGX SuperPOD™, Amazon Web Services, Microsoft Azure e Oracle Cloud Infrastructure.