概覽
如何透過擴充 AI 推論獲利？
我們透過聊天機器人、Copilot 與創意工具體驗 AI 的方式，也就是所謂的 AI 推論，正以超乎想像的速度急遽擴大。使用者採用率持續加速，與此同時，在代理工作流程、長思考推理與混合專家 (MoE) 模型驅動之下，每次互動所生成的 AI Token 數量也同步飆升。
為了實現這種大規模推論，NVIDIA 每年都會推出資料中心規模的架構。我們極致的軟硬體共同設計，讓效能大幅躍升，並降低每 Token 成本，讓先進的 AI 體驗大規模普及且符合成本效益。
NVIDIA GB300 NVL72 相較於 Hopper™，每瓦 Token 效能提升 50 倍，而且 Token 成本降低 35 倍，在相同的電力預算內將利潤最大化，並帶動更高的利潤率。持續軟體最佳化讓晶片、機架與資料中心規模充分發揮最高效能，經年累月進一步提高投資報酬率。
優勢
最高效能讓收益最大化
NVIDIA GB300 NVL72 採用極致的軟硬體共同設計，每瓦產出的 Token 是 Hopper 的 50 倍，在相同的功率預算內，將 AI 工廠收益最大化。持續軟體最佳化讓晶片、機架與資料中心規模充分發揮最高效能，經年累月進一步提高投資報酬率。
最低的 Token 成本擴大利潤率
NVIDIA GB300 NVL72 系統相較於 NVIDIA Hopper 平台，每 Token 成本低 35 倍，帶動 AI 工廠提升利潤率。隨著每一代演進，效能提升幅度遠超過基礎設施成本增長，創造出更有利的經濟條件，大規模實現先進的 AI 體驗。
完整堆疊將每個模型與使用案例最佳化
NVIDIA 支援生成式 AI、傳統 ML、科學運算、生物學與物理 AI 的所有模型。無論是對延遲敏感的即時應用，還是傳輸量高的批次處理，NVIDIA 都能為每個使用案例締造最優異的效能。該平台提供最高的靈活性與可程式化能力，可隨工作負載與業務需求不斷演變選擇最佳配置。
原生整合加速部署
NVIDIA 有 Dynamo 和 TensorRT™ LLM 在內的正式環境就緒軟體，並與 PyTorch、vLLM、SGLang 與 llm-d 等頂尖框架原生整合，實現最穩健的 AI 推論堆疊。模型架構與推論技術瞬息萬變，而 NVIDIA 的堆疊可確保創新以最快的速度正式上線。
平台
極致的軟硬體共同設計
強大的硬體少了智慧型協調系統，潛力將無從發揮；卓越的軟體少了快速的硬體，推論效能也將大打折扣。NVIDIA 的推論平台提供持續最佳化的完整堆疊解決方案，以及共同設計的運算、網路、儲存與軟體，為各種工作負載實現最高效能。
探索幾種關鍵的 NVIDIA 軟硬體創新技術。
客戶案例
產業領導者如何利用 AI 推論促進創新
資源
最新的 AI 推論資源
-
部落格文章
-
演講
-
訓練
-
影片
後續步驟
