Come iniziare con NVIDIA NeMo

NVIDIA NeMo è una suite aperta di librerie e competenze basata sugli agenti per accelerare la specializzazione, l'ottimizzazione e la governance degli agenti IA.

NeMo si integra con gli strumenti IA e i framework di agenti esistenti per ottimizzare gli agenti specializzati in qualsiasi ambiente cloud, on-premise o ibrido.

NeMo è disponibile open source e supportato come parte di NVIDIA AI Enterprise. I dettagli su prezzi e licenze sono disponibili qui.

NeMo può essere utilizzato per personalizzare i modelli linguistici di grandi dimensioni (LLM), i modelli linguistici visivi (VLM),  il riconoscimento vocale automatico (ASR) e i modelli di sintesi vocale (TTS).

NVIDIA AI Enterprise include il supporto NVIDIA Business-Standard. Per ulteriori servizi e supporto disponibili, come il supporto NVIDIA Business-Critical, un account manager tecnico, formazione e servizi professionali, consulta la Guida al supporto e ai servizi NVIDIA Enterprise.

Il framework NVIDIA NeMo è un framework di IA generativa open source creato per ricercatori e sviluppatori che cercano un controllo granulare e una flessibilità a livello di codice per creare in modo efficiente modelli di IA generativa su scala. Supporta il pre-addestramento, il post-addestramento e l'apprendimento per rinforzo dei modelli di IA generativa multimodale.


I microservizi NVIDIA NeMo sono un'offerta modulare API-first pronta per le aziende progettata sul framework NeMo, per consentire agli sviluppatori di personalizzare e distribuire agenti IA su scala in modo semplice e rapido. Semplifica la messa a punto dei modelli, la valutazione, la gestione dei limiti e la generazione di dati sintetici. Si integrano perfettamente nelle piattaforme IA esistenti, consentendo alle aziende di accelerare lo sviluppo di agenti IA personalizzati e ottimizzarli continuamente attraverso i flussi di lavoro del volano di dati.

NeMo Curator è una libreria open source che migliora la precisione dei modelli di IA generativa selezionando set di dati multimodali di alta qualità. Consiste in un insieme di moduli Python espressi come API che utilizzano Dask, cuDF, cuGraph e Pytorch per scalare le attività di gestione dei dati, come il download dei dati, l'estrazione del testo, la pulizia, il filtraggio, la deduplicazione esatta/sfocata e la classificazione del testo a migliaia di core di calcolo

NeMo Data Designer è un microservizio appositamente progettato (disponibile anche come libreria aperta) per gli sviluppatori di IA che fornisce un modo programmatico per generare dati sintetici attraverso schemi configurabili e modelli di generazione basati sull'IA. È progettato per integrarsi perfettamente nel flusso di lavoro di sviluppo dell'IA.

NeMo Anonymizer è una libreria aperta che supporta l'anonimizzazione dei dati basata sul contesto all'interno del testo libero. Dopo aver rilevato entità sensibili, puoi etichettarle, modificarle, eseguire l'hash, sostituirle o riscriverle completamente.

NeMo Safe Synthesizer è una libreria aperta per la generazione di versioni sintetiche di set di dati sensibili. Crea record completamente nuovi senza una mappatura uno a uno rispetto all'originale. Sblocca informazioni sui tuoi dati, mantenendo la privacy dei dati.

NeMo Customizer è un microservizio ad alte prestazioni e scalabile che semplifica la personalizzazione e l'allineamento degli LLM per i casi d'uso specifici di dominio utilizzando tecniche avanzate di messa a punto e apprendimento per rinforzo.

NeMo Auditor sonda gli LLM offline, in batch, con una vasta gamma di attacchi automatizzati e prompt edge-case per rilevare le vulnerabilità di sicurezza e incolumità. È basato sulla libreria aperta NVIDIA Garak ed è progettato per essere collegato ai flussi di lavoro di valutazione e alle pipeline CI/CD, in modo che i team possano eseguire regolarmente audit e utilizzare i report risultanti per rafforzare i modelli e le distribuzioni nel tempo.

NeMo Evaluator fornisce un benchmarking scalabile per le applicazioni di IA generativa, tra cui LLM, pipeline RAG e agenti IA. È dotato di un SDK open source per una sperimentazione flessibile con oltre 100 benchmark, oltre a un microservizio cloud-native che automatizza i flussi di lavoro di valutazione di livello aziendale utilizzando il punteggio LLM-as-a-judge e metriche specializzate delle prestazioni.

NeMo RL è una libreria open source per algoritmi di apprendimento per rinforzo avanzati e post-addestramento scalabile per ottimizzare e allineare gli agenti IA su scala aziendale.

NeMo Gym è una libreria open source per creare ambienti di addestramento con apprendimento per rinforzo (RL) per modelli linguistici di grandi dimensioni (LLM). NeMo Gym fornisce l'infrastruttura per sviluppare ambienti, scalare la raccolta di rollout e integrarsi facilmente con il tuo framework di addestramento preferito. Aiuta a generare i dati necessari per l'addestramento RL per fornire agli agenti e ai modelli IA competenze specifiche per dominio.

NeMo Retriever è una libreria open source, con modelli Nemotron RAG, per creare pipeline scalabili per estrarre dati multimodali da documenti complessi, che offre una precisione superiore fino al 50% e un'estrazione multimodale dei PDF 15 volte più veloce.

NeMo Relay è un livello di integrazione per connettere harness di agenti black-box e general-purpose alla piattaforma NeMo. Aiuta i team a portare flussi di lavoro di agenti esistenti in NeMo in modo che possano utilizzare le capacità della piattaforma per l'ottimizzazione, la valutazione e il miglioramento continuo senza ricostruire il proprio stack di agenti da zero.

NVIDIA NIM, parte di NVIDIA AI Enterprise, è un runtime di facile utilizzo progettato per accelerare la distribuzione dell'IA generativa nelle aziende. Questo microservizio versatile supporta un ampio spettro di modelli di intelligenza artificiale, dai modelli di community open source ai modelli NVIDIA AI Foundation, oltre a quelli di IA personalizzati su misura. Creato sulle solide fondamenta dei motori di inferenza, è progettato per facilitare al massimo l'inferenza IA su larga scala, garantendo che le applicazioni IA possano essere distribuite su cloud, data center e workstation.

La generazione aumentata di recupero è una tecnica che consente agli LLM di creare risposte dalle informazioni più recenti collegandole alla base di conoscenza dell'azienda. NeMo opera con vari strumenti di terze parti e della community, tra cui Milvus, Llama Index e LangChain, per estrarre frammenti di informazioni pertinenti dal database vettoriale e fornirli all'LLM per generare risposte in linguaggio naturale. Visita la pagina Chatbot IA che usano flussi di lavoro RAG per iniziare a creare chatbot IA di qualità di produzione in grado di rispondere con precisione alle domande sui dati aziendali.

Gli NVIDIA Blueprints sono flussi di lavoro di riferimento completi basati su modelli e librerie aperti NVIDIA Nemotron. Ogni blueprint include codice di riferimento, strumenti di distribuzione, guide per la personalizzazione e un'architettura di riferimento, per accelerare la distribuzione di soluzioni di IA come agenti IA e digital twin, dal prototipo alla produzione.

NVIDIA AI Enterprise riunisce microservizi, framework e librerie per lo sviluppo dell'IA con orchestrazione avanzata delle GPU e gestione dell'infrastruttura in una suite software commerciale completamente supportata, pronta per la produzione. Distribuisci i principali strumenti open source e modelli IA con sicurezza, migliora la produttività e il time-to-value ed esegui carichi di lavoro IA su larga scala con un utilizzo ottimizzato delle risorse.