NeMo Megatron es un marco integral para el entrenamiento y el despliegue de LLM con miles de millones o trillones de parámetros.
El marco de trabajo en contenedores ofrece una alta eficiencia de entrenamiento en miles de GPUs y hace que sea práctico para las empresas construir y desplegar modelos a gran escala. Proporciona capacidades para curar los datos de entrenamiento, entrenar modelos a gran escala de hasta billones de parámetros, personalizar usando el aprendizaje rápido e implementar usando el NVIDIA Triton™ Inference Server para ejecutar modelos a gran escala en múltiples GPUs y múltiples nodos.
NeMo Megaton está optimizado para ejecutarse en NVIDIA DGX™ Foundry, NVIDIA DGX SuperPOD™, Amazon Web Services, Microsoft Azure y Oracle Cloud Infrastructure.