Ecosistema di storage IA per il data center
Piattaforma di storage a memoria contestuale NVIDIA CMX
Riprogettare lo storage per l'inferenza per la nuova frontiera dell'IA.
Panoramica
Lo storage nativo IA accelera l'inferenza a lungo contesto su larga scala
Lo storage a memoria contestuale NVIDIA CMX™ è un livello di contesto nativo IA per l'inferenza dell'IA a lungo contesto, multi-turn e agentica. Basato sul processore di storage NVIDIA BlueField™‑4, estende la memoria della GPU con un livello di contesto condiviso a livello di pod ottimizzato per la cache KV (Key Value) effimera. La piattaforma fornisce un percorso ad alta larghezza di banda che riduce la latenza, i costi e il sovraccarico energetico per i carichi di lavoro di inferenza su larga scala, contribuendo a offrire un throughput più elevato e una migliore efficienza energetica sulle piattaforme NVIDIA Rubin.
Prodotti
Infrastruttura di storage nativa IA, integrata dall'inizio alla fine
Dalla memoria contestuale accelerata e il movimento sicuro dei dati ai fabric Ethernet e i framework di inferenza, NVIDIA CMX è il risultato di una co-progettazione estrema del calcolo, della rete, dello storage e del software.
Vantaggi del prodotto
Memoria contestuale accelerata per l'IA a lungo contesto
NVIDIA CMX introduce un livello di contesto dedicato che migliora il throughput sostenuto e l'efficienza energetica per i carichi di lavoro a lungo contesto e ad alta intensità di cache KV rispetto agli approcci allo storage tradizionali.
Recupera la potenza per l'IA gigascale
Scala i servizi IA con un livello di storage altamente efficiente e ottimizzato per la cache KV che recupera la potenza essenziale, rendendo disponibile una parte maggiore del budget energetico del data center per le GPU anziché per lo storage tradizionale.
Massimizza l'utilizzo, il throughput e la reattività della GPU
Ottimizza i percorsi dei dati e riduci i tempi di stallo riutilizzando la cache KV pre-calcolata dallo strato CMX senza doverla ricalcolare. Ciò aumenta i token al secondo e il throughput per l'inferenza multi-turn e agentica. CMX riduce il time-to-first-token e il time-to-last-token, in modo che le risposte vengano trasmesse in streaming prima e terminino più velocemente, anche con la crescita dei modelli, delle finestre di contesto e della concorrenza.
Consenti una condivisione intelligente ed efficiente della cache KV sul pod IA
Fornisci un accesso ad alta velocità e a livello di pod al contesto nativo IA per consentire agli agenti multi-turn di coordinarsi, condividere lo stato e scalare facilmente con la crescita dei carichi di lavoro, riducendo al contempo la duplicazione della cache KV e la capacità inutilizzata dei nodi.
Estendi la capacità della GPU per l'inferenza a lungo contesto
Offri un'enorme capacità di cache KV per supportare il ragionamento a lungo contesto, i flussi di lavoro multi-agente, i modelli da trilioni di parametri e le finestre di contesto più lunghe per numerosi utenti simultanei.
NVIDIA STX
NVIDIA STX è un'architettura di riferimento modulare per lo storage IA, co-progettata insieme ai principali partner di storage e basata su calcolo, rete e software IA accelerati da NVIDIA. NVIDIA STX fornisce la base per creare un motore di dati universale che accelera il ciclo di vita completo dell'IA, dall'addestramento e l'analisi all'inferenza per agenti in tempo reale.
Ecosistema
Partner per lo storage a memoria contestuale NVIDIA CMX
Risorse
Elementi costitutivi per l'era del contesto
Inizia
Collabora con gli esperti NVIDIA
Contatta il team di vendita enterprise NVIDIA o il partner giusto nel programma NVIDIA Partner Network (NPN) per iniziare.
Hai bisogno di aiuto per scegliere il partner o il prodotto giusto?
Parla con uno specialista NVIDIA delle tue esigenze aziendali.
Aggiornati con le notizie di NVIDIA
Iscriviti per ricevere le ultime notizie, gli aggiornamenti e altro da NVIDIA.