Comment démarrer avec NVIDIA NeMo

NVIDIA NeMo est une suite de bibliothèques et de compétences ouverte axée sur les agents et conçue pour accélérer la spécialisation, l'optimisation et la gouvernance des agents d'IA.

NeMo s'intègre aux outils d'IA et aux frameworks d'agents existants pour optimiser les agents spécialisés dans n'importe quel environnement Cloud, sur site ou hybride.

NeMo est disponible open source et pris en charge dans le cadre de NVIDIA AI Enterprise. Vous trouverez des informations détaillées sur les prix et les licences ici.

NeMo peut être utilisé pour personnaliser les grands modèles de langage (LLM), les modèles de langage de vision (VLM), la reconnaissance vocale automatique (ASR) et les modèles de synthèse vocale (TTS).

NVIDIA AI Enterprise inclut une assistance standard pour les entreprises de NVIDIA. Pour des services et une assistance disponibles supplémentaires, tels que l'assistance commerciale de NVIDIA, un gestionnaire de compte technique, des formations ou des services professionnels, consultez le guide de service et d'assistance pour les entreprises de NVIDIA.

Le framework NVIDIA NeMo est un framework d'IA générative open source conçu pour les chercheurs et les développeurs cherchant un contrôle du code plus fin et souple pour développer efficacement des modèles d'IA générative à grande échelle. Il prend en charge le pré-entraînement, le post-entraînement et l'apprentissage par renforcement de modèles d'IA générative multimodaux.


Les microservices NVIDIA NeMo sont une offre modulaire prête pour les entreprises et axée sur les API, basée sur le framework NeMo, pour permettre aux développeurs de personnaliser et de déployer facilement et rapidement des agents d'IA à grande échelle. Elle simplifie le réglage fin, l'évaluation, l'encadrement et la génération de données synthétiques des modèles. Elles s'intègrent sans effort aux plateformes d'IA existantes, permettant aux entreprises d'accélérer le développement d'agents d'IA personnalisés et de les optimiser en permanence via des workflows de volant de données.

NeMo Curator est une bibliothèque open source qui améliore la précision des modèles d'IA générative en organisant des jeux de données multimodaux haute qualité. Elle se compose d'un ensemble de modules Python exprimés sous forme d'API qui utilisent Dask, cuDF, cuGraph et Pytorch pour répartir les tâches d'organisation des données, telles que le téléchargement de données, l'extraction de texte, le nettoyage, le filtrage, la déduplication exacte/floue et la classification de texte sur des milliers de cœurs de calcul.

NeMo Data Designer est un microservice spécialement conçu (également disponible sous forme de bibliothèque ouverte) pour les développeurs d'IA qui fournit un moyen programmatique de générer des données synthétiques via des schémas configurables et des modèles de génération basés sur l'IA. Il est conçu pour s'intégrer sans effort à votre workflow de développement d'IA.

NeMo Anonymizer est une bibliothèque ouverte qui prend en charge l'anonymisation des données contextuelles au sein du texte libre. Après avoir détecté des entités sensibles, vous pouvez les étiqueter, les éditer, les hacher, les remplacer ou les réécrire entièrement.

NeMo Safe Synthesizer est une bibliothèque ouverte permettant de générer des versions synthétiques de jeux de données sensibles. Elle crée des enregistrements entièrement nouveaux sans aucun mapping individuel par rapport à l'original. Elle génère des informations sur vos données tout en préservant la confidentialité des données.

NeMo Customizer est un microservice hautes performances et évolutif qui simplifie la personnalisation et l'alignement des LLM pour des cas d'utilisation spécifiques à un domaine grâce à des techniques avancées de réglage fin et d'apprentissage par renforcement.

NeMo Auditor sonde des LLM hors ligne, par lots, avec une large gamme d'attaques automatisées et d'invites de cas à l'Edge pour découvrir des vulnérabilités en matière de sécurité. Basé sur la bibliothèque ouverte NVIDIA Garak, il est conçu pour se connecter aux workflows d'évaluation et aux pipelines CI/CD, de sorte que les équipes peuvent régulièrement effectuer des audits et utiliser les rapports qui en résultent pour renforcer les modèles et les déploiements au fil du temps.

NeMo Evaluator fournit une analyse comparative évolutive pour les applications d'IA générative, notamment les LLM, les pipelines RAG et les agents d'IA. Il comprend un SDK open source permettant une expérimentation flexible avec plus de 100 benchmarks, ainsi qu'un microservice natif du cloud qui automatise les workflows d'évaluation de niveau entreprise à l'aide d'un système de notation LLM-as-a-judge et de mesures de performance spécialisées.

NeMo RL est une bibliothèque open source pour des algorithmes d'apprentissage par renforcement avancés et un post-entraînement évolutif pour optimiser et aligner des agents d'IA à l'échelle de l'entreprise.

NeMo Gym est une bibliothèque open source pour créer des environnements d'entraînement par apprentissage par renforcement (RL) pour de grands modèles de langage (LLM). NeMo Gym fournit une infrastructure pour développer des environnements, mettre à l'échelle la collecte de déploiements et s'intégrer facilement à votre framework d'entraînement préféré. Elle contribue à générer les données nécessaires au RL afin d'équiper les agents et les modèles d'IA de compétences spécifiques à un domaine.

NeMo Retriever est une bibliothèque open source, comprenant des modèles RAG Nemotron, permettant de créer des pipelines évolutifs pour extraire des données multimodales à partir de documents complexes, offrant une précision jusqu'à 50 % supérieure et une extraction PDF multimodale 15 fois plus rapide.

NeMo Relay est une couche d'intégration permettant de connecter les harnais d'agents "boîte noire" et à usage général dans la plateforme NeMo. Elle aide les équipes à intégrer des workflows d'agents existants dans NeMo afin de pouvoir utiliser les capacités de la plateforme pour l'optimisation, l'évaluation et l'amélioration continue sans reconstruire leur pile d'agents à partir de zéro.

NVIDIA NIM, qui fait partie de NVIDIA AI Enterprise, est un environnement d'exécution facile à utiliser et conçu pour accélérer le déploiement de l'IA générative dans les entreprises. Ce microservice polyvalent prend en charge un large éventail de modèles d'IA, des modèles de communauté open source aux modèles NVIDIA AI Foundation, en passant par les modèles d'IA personnalisés sur mesure. Construit sur les bases solides des moteurs d'inférence, il est conçu pour faciliter l'inférence d'IA transparente à grande échelle. De quoi garantir que les applications d'IA peuvent être déployées dans le Cloud, le centre de données et le poste de travail.

La génération augmentée par récupération est une technique qui permet aux LLM de créer des réponses à partir des informations les plus récentes en les connectant à la base de connaissances de l'entreprise. NeMo fonctionne avec divers outils tiers et communautaires tels que Milvus, Llama Index et LangChain pour extraire des bribes d’informations pertinentes à partir de la base de données vectorielle avant de les transmettre au LLM afin de générer des réponses en langage naturel. Explorez la page AI Chatbot Using RAG Workflow pour commencer à créer des chatbots IA pour la production capables de répondre avec précision aux questions sur les données de votre entreprise.

Les NVIDIA Blueprints sont des workflows de référence complets basés sur les modèles et les bibliothèques ouverts NVIDIA Nemotron. Chaque modèle inclut un code de référence, des outils de déploiement, des guides de personnalisation et une architecture de référence, accélérant le déploiement de solutions d'IA telles que les agents d'IA et les jumeaux numériques, du prototype à la production.

NVIDIA AI Enterprise regroupe des microservices, des frameworks et des bibliothèques pour le développement de l'IA avec une orchestration GPU avancée et une gestion de l'infrastructure dans une suite logicielle commerciale entièrement prise en charge et prête pour la production. Déployez les principaux outils open source et modèles d'IA en toute confiance, améliorez la productivité et les délais de rentabilisation, et exécutez des charges de travail d'IA à grande échelle avec une utilisation optimisée des ressources.