NeMo Megatron es un marco integral para el entrenamiento y la implementación de LLM con miles de millones o billones de parámetros.
Este marco en contenedores ofrece una alta eficiencia de entrenamiento en miles de GPU, de modo que las empresas pueden crear e implementar modelos a gran escala de forma práctica. Proporciona capacidades para organizar datos de entrenamiento, entrenar modelos a gran escala con hasta billones de parámetros, personalizar mediante el aprendizaje rápido e implementar con el servidor de inferencia NVIDIA Triton™, que permite ejecutar modelos a gran escala en múltiples GPU y nodos.
NeMo Megaton se ha optimizado para ejecutarse en NVIDIA DGX™ Foundry, NVIDIA DGX SuperPOD™, Amazon Web Services, Microsoft Azure y Oracle Cloud Infrastructure.