AI 工廠是什麼？

AI 工廠是一款專用的運算基礎架構，能夠管理整個 AI 生命週期，從資料擷取、訓練、微調到大規模 AI 推論，藉此從資料中創造價值。 主要產品是智慧，並以 Token 傳輸量衡量，這些傳輸量會推動決策、自動化與全新 AI 解決方案。

雖然資料中心旨在處理各領域的通用運算任務，但 AI 工廠則專門針對人工智慧工作負載最佳化，並強調 AI 推論效能與能源效率。

AI 工廠透過一系列相互關聯的流程和元件運作，每一部分都是為了最佳化 AI 模型的建立和部署。 以下是深入瞭解 AI 工廠的運作方式：

資料流程為建置智慧、安全且可擴充的大型語言模型 (LLM) 提供了策略基礎。 這些資料處理流程是大型語言模型 (LLM) 成功的關鍵，因為它們可將原始、非結構化資料轉化為高品質、結構化標記，供模型有效學習；而高品質資料是現代智慧的基礎。精心設計的資料流程可確保資料整潔、資料集皆保持一致，並最終影響大規模的模型行為。

AI 推論是整個 AI 生命週期中一個關鍵反覆的過程，訓練有素的模型會即時生成預測與決策。 在 AI 工廠中，此流程實現了即時推薦、詐騙偵測乃至於自主導航與生成式應用的所有功能。 完整堆疊 AI 推論基礎架構可在雲端、混合式和內部部署環境中，提供低延遲且符合成本效益的回應。 由於 AI 推理模型需要反覆推論，且需要增加運算能力，因此 AI 工廠會持續最佳化傳輸量、延遲和效率，以適應各種變化。推論結果也會回饋至系統，形成一個資料飛輪，隨著時間推移提升模型準確性，並支援各產業可擴展且智慧化的自動化。

AI 工廠的數位孿生可讓團隊在統一的虛擬環境中設計、模擬及最佳化設施的各個環節，並在建造開始前完成。透過將不同系統的 3D 資料整合至單一模擬環境，工程團隊可即時協作、立即測試設計變更、模擬故障情境，並驗證備援機制。 這種方法簡化了規劃、降低風險，並加速新一代 AI 基礎架構的部署。

所需的 AI 基礎架構包括軟硬體，可確保 AI 部署和營運的順暢無礙。硬體元件包括高效能 GPU、CPU、網路、儲存空間和先進冷卻系統。 軟體元件採用模組化、可擴充且採用 API 驅動的技術，將各個部分整合至單一整合式系統。 這個整合式生態系統以企業經驗證的設計與參考架構建置，支援持續更新與擴充性，讓組織能隨著 AI 的發展步調成長。

自動化工具可用於減少人工操作，並在整個 AI 生命週期中維持一致性，從超參數調整到部署流程皆涵蓋其中。 這確保了 AI 模型能夠保持高效、具擴展性，並持續改善，不會因人為介入而減緩其發展速度。 自動化工具對於維持大規模 AI 運作所需的高傳輸量與可靠性至關重要。

AI 工廠帶來了多重優勢，讓企業能夠更有效地運用資料與 AI ，保持競爭力：

1. 將原始資料轉化為營收：AI 工廠將原始資料轉化為可採取行動的智慧，用於推動業務決策並創造營收。

2. 最佳化整個 AI 生命週期：從資料擷取到大量推論，AI 工廠可簡化並最佳化 AI 開發流程的每一步。

3. 提升每瓦效能：AI 工廠專為加速運算而打造，能處理高運算密集的任務，可為代理 AI 與物理 AI 工作負載大幅提升效能與能源效率。

4. 高效擴展 AI 部署：AI 工廠的建置旨在有效擴展主權 AI 基礎架構與企業 AI 基礎架構，無論是向上擴充還是向外擴展皆能靈活應對。

5. 提供安全且具適應性的生態系統：它們提供一個安全的環境，可支援持續更新與擴充，讓企業掌握 AI 進展的最新動態。

AI 工廠的多功能性，意味著它們幾乎可以在任何產業中發揮作用，實現採用 AI 技術的創新與效率。 一些傑出的例子包括公共部門、汽車、醫療照護、電信和金融服務產業的 AI 計畫。

AI 將成為國家基礎設施的一部分，正如水、道路或電信等其他公共事業成為國家基礎設施的一環。 透過投資主權 AI 工廠，政府可創造經濟機會、推動科學突破、解決社會挑戰、培育結合特定區域資料集的本地語言模型，並在全球 AI 版圖中建立領導地位。

AI 工廠透過提供高效能運算與即時資料處理功能，支援先進機器人和自駕車的發展，這對於訓練複雜 AI 模型並做出快速準確的決策至關重要。此外，它們也支援持續學習與最佳化，確保這些系統隨著時間的推移變得愈來愈安全可靠。 此外，AI 工廠亦透過自動化最佳化製造流程，縮短生產時間與成本。

在醫療照護產業，AI 工廠正分析大型資料集，以鑑定新的候選藥物，並為個別患者量身打造治療方案，藉此支援藥物研發與個人化醫學。 生成式 AI 在這個過程中將扮演關鍵的角色，打造出全新的藥物分子與治療方案。 這可帶來更有效且個人化的醫療照護解決方案，降低成本並改善患者治療效果。

電信公司紛紛運用 AI 工廠，提升網路效率並改善客戶服務。 例如，挪威的 Telenor 推出了一個 AI 工廠來加速 AI 採用，將重點擺在提升勞動力技能並促進永續發展。AI 工廠也可以協助最佳化網路效能、減少停機時間，並透過 AI 應用 (包括使用大型語言模型) 提供更個人化且回應速度更快的客服。

AI 工廠整合金融機構生成智慧所需的所有元件，並結合金融服務業的 AI 應用程式所需要的軟硬體、網路和開發工具。

AI 工廠可透過強大的基礎架構與端對端平台，確保具備必要的運算能力，以支援金融業中 AI 使用案例，包括支付中的交易詐騙偵測、銀行客戶支援，以及資本市場的演算法交易。

AI 工廠可部署在多種環境：

這些解決方案可全面控管資料與效能，非常適合需要高安全性與特定效能標準的組織。

雲端解決方案提供擴充性與靈活性，讓組織能根據需要調整資源，並隨處存取 AI 功能。

混合式解決方案能讓組織在安全性與控制性以及雲端擴充性之間取得平衡。 透過整合內部部署基礎架構與雲端資源，企業可最佳化成本、提升效能，並確保合規性，同時仍可繼續存取先進 AI 功能。

為了推動 AI 時代的下一波創新浪潮，NVIDIA 提供完全整合且最佳化的平台，用於打造 AI 工廠。

NVIDIA Enterprise AI 工廠是一款完整堆疊、經過驗證的設計，可讓企業建置及部署專屬內部的 AI 工廠。

這些技術提供訓練複雜 AI 模型所需的運算能力。

NVIDIA® NVLink™ 與 NVLink 交換器互連技術，可實現多個 GPU 之間的高速通訊，這對於處理大規模 AI 工作負載至關重要。

NVIDIA Quantum InfiniBand 與 Spectrum-X™ 乙太網路可確保強大且高效的網路，這對於 AI 工廠內的資料傳輸與通訊無比關鍵。

這包括用於高效能深度學習推論的 NVIDIA® TensorRT™ 生態系統、用於最佳化 AI 工作流程的 NVIDIA Dynamo、用於輕鬆部署的 NVIDIA NIM™ 微服務，以及用於持續客製化與學習的資料飛輪。

NVIDIA Omniverse™ 數位孿生平台利用數位孿生技術，有助於設計、測試及最佳化新一代智慧製造資料中心。