資料中心適用的 AI 儲存機制生態系
重塑推論儲存架構,迎接 AI 新領域。
概覽
NVIDIA® CMX™ 情境記憶儲存平台是長情境、多輪互動與代理型 AI 推論用的 AI 原生情境層。它採用 NVIDIA BlueField® ‑4 儲存處理器,透過針對暫時性鍵值 (KV) 快取最佳化的共享式 Pod 級情境層擴充 GPU 記憶體。該平台提供的高頻寬路徑,可降低大規模推論工作負載的延遲、成本與功耗開銷,有助於在 NVIDIA Rubin 平台實現更高的傳輸量與更優異功率效率。
產品
NVIDIA CMX 是運算、網路、儲存與軟體極致的共同設計成果,涵蓋加速的情境記憶架構與安全資料移動機制,以及乙太網路網狀架構和推論框架。
產品優勢
NVIDIA CMX 引進專用的情境層,相較於傳統儲存法,可提升 KV 快取密集型長情境工作負載的持續傳輸量與功率效率。
利用高效的 KV 快取最佳化儲存層擴大 AI 服務規模,藉此收回寶貴的電力,釋出更多資料中心電力預算給 GPU,而非傳統儲存裝置。
重複使用 CMX 層預先運算的 KV 快取,無需重新運算,將資料路徑最佳化,並減少停頓。這樣一來,多輪代理型推論每秒產出的 Token 數與傳輸量便大幅提升。CMX 縮短了產出第一個 Token 與最後一個 Token 的時間,因此即使模型、情境視窗與同時處理量增加,答案也能更早開始串流並更快完成輸出。
在全 Pod 提供 AI 原生情境的高速存取,讓多輪代理能夠隨工作負載增加順暢協調、共享狀態並擴大規模,同時減少跨節點的 KV 快取重複與閒置容量。
提供龐大的 KV 快取容量,支援長情境推理、多代理工作流程、兆級參數模型,並且為大量同時上線的使用者提供更長的情境視窗。
NVIDIA STX 是 AI 儲存用的模組化參考架構,由頂尖儲存合作夥伴共同設計,並且採用 NVIDIA 加速運算資源、網路與 AI 軟體。NVIDIA STX 為建置通用資料引擎提供基礎,可加速整個 AI 生命週期,範圍涵蓋訓練、分析與即時代理型推論。
生態系
資源
聯絡 NVIDIA 企業銷售團隊或 NVIDIA 合作夥伴網路 (NPN) 計畫中的合適合作夥伴,立即開始使用。
與 NVIDIA 專家討論您的業務需求。
註冊即可收到 NVIDIA 的最新消息與動態等。