NeMo Megatron est un framework de bout en bout pour l’entraînement et le déploiement de grands modèles de langage avec des milliards voire des trillions de paramètres.
Ce framework conteneurisé garantit une efficacité d’entraînement élevée sur des milliers de GPU et permet aux entreprises de concevoir et de déployer des modèles à grande échelle. Il fournit des capacités avancées de gestion des jeux de données, d’entraînement des modèles à grande échelle pouvant comporter des trillions de paramètres, de personnalisation via l’apprentissage rapide et de déploiement des modèles à grande échelle avec des GPU et nœuds multiples grâce au serveur d’inférence NVIDIA Triton™.
NeMo Megatron a été optimisé pour fonctionner sur NVIDIA DGX™ Foundry, NVIDIA DGX SuperPOD™, Amazon Web Services, Microsoft Azure et Oracle Cloud Infrastructure.