硬體 / 半導體
聯發科技利用 AI 工廠加速 AI 開發
影像來源：聯發科技
目標
聯發科技是全球頂尖的半導體公司，目前正展開尖端大型語言模型 (LLM) 的策略性投資，希望能突顯其 AI 硬體實力、培育開發人員生態系，以及鞏固其完整堆疊 AI 創新者的品牌，帶動具 AI 功能裝置的長期需求。聯發科技為了加速企業 AI 工作，並提升各領域的生產力，採用 NVIDIA DGX SuperPOD™ 建立內部部署 AI 工廠。聯發科技集中管理 AI 運算資源，簡化研發工作流程；利用 NVIDIA NIM™ 與 NVIDIA® Riva 等 NVIDIA AI Enterprise 軟體，讓推論效能大幅提升；並且確保針對完成 AI 輔助程式碼與自動化文件等應用，以安全的方式處理專有資料。
客戶
聯發科技
使用案例
生成式 AI / LLM
結果
- 每個月為推論處理 600 億個 Token
- 每個月完成超過 24,000 次模型訓練迭代
- 一週內訓練超過 4800 億個參數模型
- 運用 NVIDIA NIM 和 NVIDIA TensorRT™-LLM，將推論速度提升 40%，以及將 Token 傳輸量提高 60%
- 透過 AI 輔助生成，文件製作時間從數週縮短至數天
- 透過 NVIDIA Mission Control™ 簡化 GPU 佈建與系統監測
推動各行各業創新的全球領導者
聯發科技透過行動裝置、家庭娛樂、連線技術與 IoT 產品用的創新系統晶片 (SoC)，支援近 20 億部互連裝置。該公司率先將 AI 整合至核心營運，以提高生產力與競爭力。
聯發科技對於尖端 LLM 的策略開發極為重要，包括 Breeze 系列和 4800 億參數的傳統中文模型。這項投資在整合專用 AI 處理器的 Dimensity 晶片展現 AI 硬體實力，讓旗下 SoC 成為值得信賴的 AI 平台，進而強化了該公司的市場地位。聯發科技透過開源模型積極打造強大的開發人員生態系，促進平台普及化，並且確立該公司作為值得信賴 AI 供應商的地位。這項工作讓聯發科技晉升為完整堆疊 AI 創新者，提供一站式在地化 AI 解決方案，帶動長期硬體需求。
Image courtesy of MediaTek
Image courtesy of MediaTek
因應日益增長的需求擴大 AI 規模
聯發科技深化投入 AI 之際，為了因應 AI 計畫需求，在建立及擴充運算基礎架構時遇到了重大挑戰。開發人員資源需求規模龐大且持續增長，每個月必須進行成千上萬次模型訓練迭代，以及為推論處理數十億個 Token，構成艱鉅的挑戰。這些密集型工作負載需要強大、可擴充且高效的運算環境。
聯發科技需要的解決方案不僅必須能處理當前大量的工作負載，還要能為未來成長和日益複雜的 AI 模型奠定基礎，並且兼顧營運效率與成本效益。另一項關鍵考量則是有能力在無須公開專有資料的情況下，便能在本地機器探索新模型的潛在用途，確保資料安全合規。
聯發科技的 AI 工廠採用 NVIDIA DGX SuperPOD
因應這些難題，並且為 AI 工廠實現更經濟實惠、可擴充且安全的平台，聯發科技選擇搭載 NVIDIA Blackwell 系統的 NVIDIA DGX SuperPOD。做出這項決定的原因在於，該平台能夠提供可擴充的基礎，加速 AI 應用開發與部署。DGX SuperPOD 特別能夠在與先前系統相同的時間範圍內，訓練大型語言模型及處理大型資料集，大幅提升聯發科技在 AI 領域的競爭力與創新能力。
因應高機架密度、功耗與散熱需求，聯發科技將 NVIDIA DGX SuperPOD 參考架構整合至新的資料中心設計。這項策略大幅提升聯發科技的 AI 研發實力，為敏感資料提供了安全受控的環境。
整合式平台驅動數十億參數模型的開發與部署
實作 NVIDIA DGX SuperPOD 革新了聯發科技的 AI 開發生命週期。驅動這種等級 AI 發展所需的運算使用率很高，突顯出企業亟需強大的內部部署解決方案，才能管理如此龐大且持續的 AI 工作負載。
聯發科技聯合營運長暨財務長顧大為表示：「我們的 AI 工廠採用 DGX SuperPOD，每個月為推論處理約 600 億個 Token，而且每個月進行成千上萬次模型訓練迭代。」
模型推論，尤其是尖端 LLM，必須將整個模型載入 GPU 記憶體。擁有數千億參數的模型很容易超過單一 GPU 伺服器的記憶體容量，因此必須在多個 GPU 上分割。DGX SuperPOD 採用緊密耦合的 DGX 系統和高效能 NVIDIA 網路技術，專門提供協調的超高速 GPU 記憶體和運算，可滿足現今最大 AI 工作負載高效訓練與推論所需的運算需求。
顧大為表示：「DGX SuperPOD 是我們推論工作負載不可或缺的一環。它讓我們能夠部署及執行無法放入單顆 GPU 或甚至是單一伺服器的大規模模型，確保為要求最嚴苛的 AI 應用實現最佳效能與準確度。」
聯發科技在核心研發和集中式高需求 API 運用這些大型模型，並為特定邊緣或行動應用蒸餾出較小的版本。這種規模恰到好處的策略性方法，確保了絕對絕佳效能和準確度。
聯發科技運用 DGX 平台，將 AI 代理整合至研發工作流程，簡化產品開發流程。舉例而言，以 AI 輔助完成程式碼，大幅降低了程式設計時間與錯誤率。採用針對特定領域調整之 LLM 打造的 AI 代理，在晶片設計流程中，從設計流程圖和狀態圖擷取資訊，協助工程師理解及分析設計，並將其最佳化。這個代理現在只需數天生成技術文件，而不是先前需要的數週。
NVIDIA NeMo™ 是用於建構、訓練及部署大型語言模型的軟體套件，也應用於微調這些模型，可確保最佳效能及特定領域的準確度。
「我們原本一週可訓練 70 億個參數模型，使用 DGX SuperPOD 之後，在相同時間內卻可訓練逾 4800 億參數的模型，大幅加速了我們的 AI 能力。」
聯發科技
聯合營運長暨財務長顧大為
利用 NVIDIA Mission Control 實現卓越營運
聯發科技在 DGX SuperPOD 叢集運用 NVIDIA Mission Control，體驗了簡化日常 IT 營運的顯著效益。NVIDIA Mission Control 這款工作負載協調和基礎架構管理軟體，將 GPU 佈建、Linux 叢集部署和系統監測整合至單一強大的工具，讓該公司工程師每天都能節省寶貴的時間。
顧大為表示：「尤其是 NVIDIA Mission Control 提供許多實用的功能，例如在 DGX 節點持續佈建、提供警示的全方位系統健全狀況檢查，以及強大的資源監測。即時 GPU / CPU 使用率指標對於管理 DGX SuperPOD 叢集效能尤為實用，提供即時觀測能力，可將平行運算處理最佳化，並且微調批次大小。」
實現更快的推論與更高的 Token 傳輸量
聯發科技運用 NVIDIA AI Enterprise 軟體套件，將 AI 工廠的效能與效率最大化。在 DGX 運用 TensorRT-LLM 實作 NVIDIA NIM 後，模型推論效能大幅提升。顧大為表示：「有了 NVIDIA NIM 及在 DGX 執行的 TensorRT-LLM，推論速度提升 40%，而 Token 則增加 60%。這意味著業務可以加速獲得深入解析，AI 應用的回應速度也更快。」
聯發科技針對代理型語音控制，將 NVIDIA Riva 自動語音辨識 (ASR)、小語言模型 (SLM) 和文字轉語音 (TTS) 整合至 NVIDIA DGX Spark™，支援以語音命令控制網路搜尋、行事曆和訊息傳送等服務。NVIDIA Riva 大幅加速這種代理型開發，讓聯發科技可高效部署 ASR 和 TTS。NVIDIA Riva 為全球頂尖 ASR 模型提供正式環境級實作方案，而聯發科技在自家 ASR 流程採用這些版本後，最終同時滿足了速度與準確度的需求。
NVIDIA Infrastructure Specialist (NVIS) 團隊也在聯發科技的 AI 旅程扮演關鍵角色。聯發科技與 NVIDIA AI 技術專家密切合作，為 DGX SuperPOD 安裝和效能調整提供了大量支援。NVIDIA 技術團隊還提供 NVIDIA NeMo 軟體訓練和 TensorRT-LLM 實作，進一步將聯發科技部署於 NVIDIA DGX SuperPOD 的 LLM 最佳化。
展望未來
聯發科技的內部部署 AI 工廠採用 NVIDIA DGX SuperPOD，並獲得 NVIDIA 全方位的軟體架構和專家服務支援，大幅提升公司在日新月異 AI 領域創新與競爭的能力。聯發科技透過建立可擴充且高效的 AI 基礎架構，推進在晶片設計、軟體開發和先進 AI 應用的領先地位，不僅帶動生產力，同時突破技術進步的極限。
NVIDIA DGX SuperPOD 提供領先群倫的加速基礎架構與擴充效能，專為極具挑戰性的 AI 工作負載設計，成果在業界有目共睹。