NeMo Megatron ist ein End-to-End-Framework für das Training und die Bereitstellung von LLMs mit Milliarden oder Billionen von Parametern.
Das containerisierte Framework bietet eine hohe Trainingseffizienz für Tausende Grafikprozessoren und erleichtert Unternehmen die Erstellung und den Einsatz umfangreicher Modelle. Es bietet Funktionen zum Zusammenstellen von Trainingsdaten, zum Trainieren umfangreicher Modelle mit bis zu Billionen von Parametern, zur Anpassung mithilfe von schnellem Lernen und zur Bereitstellung mit dem NVIDIA Triton™ Inference Server, um umfangreiche Modelle auf mehreren GPUs und mehreren Knoten auszuführen.
NeMo Megaton ist für die Ausführung auf NVIDIA DGX™ Foundry, NVIDIA DGX SuperPOD™, Amazon Web Services, Microsoft Azure und Oracle Cloud Infrastructure optimiert.