Microservizi NIM di NVIDIA
Progettati per la distribuzione rapida e affidabile di modelli IA accelerati ovunque.
Panoramica
Che cos'è NVIDIA NIM?
NVIDIA NIM™ fornisce microservizi di inferenza pre-costruiti e ottimizzati per la distribuzione rapida dei modelli IA più recenti su qualsiasi infrastruttura accelerata da NVIDIA: cloud, data center, workstation ed edge.
Accelera la distribuzione dell'IA con NVIDIA NIM
NVIDIA NIM combina la facilità d'uso e la semplicità operativa delle API gestite con la flessibilità e la sicurezza dei modelli di self-hosting sull'infrastruttura preferita. I microservizi NIM includono tutto ciò di cui i team IA hanno bisogno: i più recenti modelli di base IA, i motori di inferenza ottimizzati, le API standard di settore e le dipendenze di runtime, il tutto pre-confezionato in container software di livello aziendale pronti per la distribuzione e la scalabilità ovunque.
Vantaggi
Distribuisci i modelli IA più rapidamente, con le prestazioni integrate
Passa dal prototipo alla produzione con i microservizi di inferenza pre-costruiti e ottimizzati per gli ultimi modelli IA. NVIDIA NIM offre inferenza a bassa latenza e ad alto throughput attraverso API standard di settore, con la flessibilità necessaria per distribuire su cloud, data center, workstation ed edge.
Facilità di utilizzo
Accelera l'innovazione e il time-to-market con microservizi pre-costruiti e ottimizzati per i più recenti modelli IA. Grazie alle API standard, i modelli possono essere distribuiti in cinque minuti e facilmente integrati nelle applicazioni.
Livello aziendale
Distribuisci microservizi di livello aziendale continuamente gestiti da NVIDIA attraverso processi di convalida rigorosi e rami di funzionalità dedicate, il tutto sostenuto dal supporto aziendale di NVIDIA, che offre anche accesso diretto agli esperti di NVIDIA AI.
Prestazioni e scalabilità
Migliora il TCO con l'inferenza IA a bassa latenza e ad alto throughput scalabile nel cloud e ottieni la migliore precisione con il supporto per modelli ottimizzati pronti all'uso.
Portabilità
Distribuisci ovunque con microservizi cloud-native e pre-costruiti pronti per l'esecuzione su qualsiasi infrastruttura accelerata da NVIDIA, cloud, data center e workstation, e scala facilmente su ambienti Kubernetes e fornitori di servizi cloud.
Demo
Crea agenti IA con NIM
Scopri come configurare due agenti IA, uno per la generazione di contenuti e l'altro per la progettazione grafica digitale, e scopri quanto sia facile iniziare a utilizzare i microservizi NIM.
Tecnologia
Elementi costitutivi dell'IA per agenti
Benchmark
Migliora il throughput con NIM
NVIDIA NIM offre un throughput e una latenza ottimizzati pronti all'uso per massimizzare la generazione di token, supportare più utenti simultaneamente nelle ore con maggiore traffico e migliorare la reattività. I microservizi NIM sono continuamente aggiornati con i più recenti motori di inferenza ottimizzati, che aumentano le prestazioni sulla stessa infrastruttura nel tempo.
Configurazione: Llama 3.1 8B instruct, 1 H100 SXM; richieste simultanee: 200. NIM ON: FP8, throughput 1201 token/s, ITL 32ms. NIM OFF: FP8, throughput 613 token/sec, ITL 37 ms.
Modelli
Sblocca l'inferenza enterprise-ready per migliaia di modelli aperti
Distribuire LLM basati su NVIDIA TensorRT™-LLM, vLLM o SGLang per un'inferenza a bassa latenza e alta produttività su infrastrutture accelerate da NVIDIA.
Caratteristiche
Il pulsante facile per lo sviluppo e la distribuzione dell'IA
Progettati per essere eseguiti ovunque, i microservizi NIM espongono le API standard di settore per una facile integrazione con i sistemi e le applicazioni aziendali e scalano facilmente su Kubernetes per fornire un'inferenza ad alto throughput e a bassa latenza su scala cloud.
Distribuzione NIM
Distribuisci NIM per il tuo modello con un unico comando. Puoi inoltre eseguire facilmente NIM con gli LLM supportati da NVIDIA TensorRT-LLM, vLLM o SGLang, modelli ottimizzati inclusi.
Esecuzione dell'inferenza
Inizia a usare la tecnologia NIM con il motore di esecuzione ideale basato sulla tua infrastruttura accelerata da NVIDIA.
Creazione
Gli sviluppatori possono integrare gli endpoint NIM self-hosted con poche righe di codice.
Casi d'uso
Come viene utilizzato NIM
Scopri come NVIDIA NIM supporta i casi d'uso del settore e l'avvio dello sviluppo dell'IA con esempi selezionati.
-
Assistenti virtuali IA
-
Document Intelligence
-
Shopping iperpersonalizzato
-
Configuratori per prodotti 3D
Assistenti IA
Migliora le esperienze dei clienti e rendi più efficienti i processi aziendali grazie all'IA generativa.
Elaborazione intelligente dei documenti
Usa l'IA generativa per accelerare e automatizzare l'elaborazione dei documenti.
IA per lo shopping iperpersonalizzato
Fornisci esperienze su misura che migliorano la soddisfazione dei clienti con la potenza dell'IA.
Configuratori per prodotti 3D
Usa OpenUSD e l'IA generativa per sviluppare e distribuire strumenti ed esperienze di configurazione di prodotto 3D su quasi tutti i dispositivi.
Opzioni per iniziare
Come iniziare con NVIDIA NIM
Risorse
Le più recenti risorse NVIDIA NIM
-
Blog
-
Sessioni
-
Corsi
-
Video
Prossimi passi
