AI 網格

在集中式 AI 工廠，NVIDIA GB300 NVL72 等機架級系統，可為訓練、微調與大規模推理工作負載實現極致的傳輸量。在分散式網格站點，NVIDIA RTX PRO™ 6000 Blackwell 伺服器版 GPU 提供多功能且符合成本效益的推論平台，無需大幅改裝即可融入現有電信基礎設施。

NVIDIA Spectrum-X™ 乙太網路透過基於聚合乙太網路 (RoCE) 自適應路由與最佳化壅塞控制的遠端直接記憶體存取 (RDMA)，將儲存效能加速近 50%，並減少通訊瓶頸。企業可利用它高效擴充 AI 應用範圍，並且將 AI 系統使用率最大化。

NVIDIA® BlueField® DPU 在 AI 工廠與分散於全球各地的環境卸載、加速及隔離基礎設施服務，讓多個租戶與工作負載能以安全高效的方式，共享通用的高效能基礎設施。電信業者整合 BlueField，既可強化安全性，還能將 AI 傳輸量與效率最佳化。

NVIDIA TensorRT™ LLM 是開源函式庫，用於在 NVIDIA GPU 執行高效能即時大型語言模型 (LLM) 推論。它採用模組化 Python 執行環境、PyTorch 原生編寫方式，以及穩定的正式環境 API，經過最佳化，可將傳輸量最大化、將成本降至最低，並且提供快速的使用者體驗。

NVIDIA Dynamo 是分散式推論服務框架，用於以 AI 工廠規模在多節點環境部署模型。它解耦推論、將路由最佳化，並透過資料快取將記憶體延伸至符合成本效益的儲存層，進而簡化分散式服務。

NVIDIA NIM™ 是一系列簡單易用的推論微服務，可用於加速基礎模型的部署作業，並可確保資料安全。NVIDIA NIM 已針對企業級推理最佳化。