適用邊緣運算的 NVIDIA EGX 平台

企業如今嘗試在邊緣端作業,從工廠廠區、商店、城市街道,到緊急救護設施。來自數十億個物聯網感測器的資料,會在邊緣端由邊緣伺服器進行處理,這可在必要時加快即時決策的速度。現在這些都成為可能: 智慧零售醫療保健製造交通城市。有了 NVIDIA EGX 平台,能在邊緣端發揮加速人工智慧的力量。

為邊緣端提供即時人工智慧

NVIDIA EGX 平台透過易於部署的雲端原生應用軟體堆疊、一系列經過認證的伺服器和裝置,以及經由產品和服務提供 EGX 的龐大合作夥伴生態系統,能將加速人工智慧運算的力量發揮到極致。

執行人工智慧容器

NGC registry 具備類型廣泛且適用於 EGX 的 GPU 加速應用軟體,包括用於 Kubernetes 部署的 Helm chart。NGC 容器涵蓋頂尖的人工智慧和資料科學應用軟體,且經過 NVIDIA 加以調整,測試和最佳化。NGC registry 也讓使用者可以取得特定領域且預先訓練的第三方模型,以及可立即用於 Kubernetes 的 Helm chart,能輕鬆部署功能強大的應用軟體或打造自訂解決方案。

雲端原生,邊緣優先

NVIDIA EGX 是雲端原生、邊緣端優先且可擴充的平台,讓 IT 人員可以快速輕鬆地佈建 GPU 伺服器。EGX 的主要元件是 NVIDIA GPU Operator,可標準化和自動部署所有必要的元件,以針對採用 GPU 的 Kubernetes 叢集加以佈建。

EGX-Ready 伺服器

EGX 硬體組合從小型的 NVIDIA® Jetson Nano™ 開始,只需要數瓦即能執行每秒 1.5 兆次運算 (TOPS) 處理,可應用於影像辨識等作業。EGX 還可向上擴充直至裝滿整個 NVIDIA T4 伺服器機架,提供超過 10,000 TOPS 的效能,為數百名使用者提供即時語音辨識,以及其它複雜的人工智慧體驗。

從邊緣端到資料中心的人工智慧擴充性

從邊緣端到資料中心的人工智慧擴充性

NVIDIA EGX 平台包括各種可擴充且 經過 NGC-Ready for Edge 認證 的伺服器,包括利用 Jetson Nano 處理智慧城市中交通攝影機、安裝在零售商店倉庫且採用 NVIDIA GPU 的單一邊緣伺服器,以及由一整批伺服器組成且用於電信作業的微型資料中心。無論體積尺寸,NVIDIA EGX 堆疊的相容性都相當全面,讓企業能夠快速且有效率地擴展邊緣作業,應用範圍包括攝影機和裝置以及遠端的大型資料中心

運用人工智慧和 5G 加速物聯網革新

運用人工智慧和 5G 加速物聯網革新

5G 開創無線通訊的新時代,可將延遲時間降低 10 倍,並將頻寬提升 1000 倍。5G 更引進網路切片的概念,讓電信公司能夠更有彈性地為客戶提供特定服務。隨著電信公司開始採用 5G 技術,未來將會在電信邊緣端執行各種以軟體定義的應用程式,包括人工智慧、擴增實境、虛擬實境和遊戲。透過 NVIDIA EGX 和全新的 NVIDIA Aerial SDK,GPU 加速和以軟體定義的虛擬化無線接取網路 (vRAN) 將會以超乎想像的速度實現。

NVIDIA EGX Stack

輕鬆進行 IT 邊緣部署

採用 NVIDIA EGX 堆疊後,在遠端系統上安裝應用軟體的傳統 IT 問題將隨之消失。組織現在可透過 Helm chart、容器以及持續整合與持續傳遞 (CI/CD),在幾分鐘內輕鬆部署更新後的人工智慧容器。

採用 Kubernetes 的 NVIDIA GPU Opertator 可解決 GPU 和 CPU 節點之間需要唯一作業系統 (OS) 映像的問題。GPU Operator 將支援 Tesla GPU 所需的一切整合在一起: 驅動程式、容器執行階段、裝置外掛程式以及利用 Helm chart 部署的監控作業。現在,單一黃金映像可同時涵蓋 CPU 和 GPU 節點。

Hybrid Cloud Management

相容於 Kubernetes 管理平台

部署、擴充和管理生產級及企業級 Kubernetes 叢集的能力至關重要。 EGX 堆疊架構由領先業界的混合式雲端平台合作夥伴支援: Canonical、Cisco Container Platform (CCP)、Nutanix、Microsoft Azure、Red Hat 與 VMware。合作夥伴對 GPU Operator 的支援可確保這些叢集適用 GPU 工作負載,並確保叢集以最佳且一致的方式執行。

跨產業的邊緣運算

NVIDIA EGX 平台為領先業界的邊緣人工智慧應用和架構提供了單一且統一的基礎。

零售業

零售業

製造業

製造業

電信業

電信業

智慧城市

智慧城市

Seagate 已經在製造廠部署了智慧型邊緣端 GPU 視覺解決方案,由此檢驗硬碟讀寫頭的品質。NVIDIA EGX 平台大幅加速邊緣端推論能力,讓我們發現過去操作人員無法看到的細微瑕疵。我們期望透過改善效率和提高品質,能增加 10% 產量以及達到 300% 投資報酬率。

— Seagate Technology 資深首席資料科學家 Bruce King

人工智慧是實現精準健康管理的基石,必須從雲端到終端都能廣泛使用,並且能直接應用在醫療裝置上。透過直接在我們的醫療設備嵌入 NVIDIA T4 GPU,NVIDIA EGX 讓 GE Healthcare 能快速取得 [核磁共振 (MR)] 結果、提升影像品質並減少變異性,這一切都讓我們更接近改善病人治療成果的目標。即時重症照護案例需要邊緣人工智慧。這就是我們打造 Edison 智慧服務,並且與 NVIDIA 合作將人工智慧應用於醫療設備與 Edison 邊緣端設備的原因,而我們與 ACR AI-LAB 合作,讓人工智慧更普及,也是基於相同的理由。

— GE Healthcare MR 應用總經理 Jason Polzin 博士

Red Hat 致力於為各類工作負載、使用量與位置提供一致的體驗,包括從混合式雲端到邊緣端。透過結合 Red Hat OpenShift 與 NVIDIA EGX 平台,客戶可以在一致、高效能且以容器為中心的環境中,進一步將分散式作業最佳化。

— Red Hat 技術長 Chris Wright

富士康的 PC 生產線受限於檢查速度,因為目前人工檢查每個零件需要花費 4 秒。我們的目標是透過運用 NVIDIA EGX 平台,在邊緣端落實即時智慧決策,藉此提升 40% 以上的 PC 產量。我們的模型採用在 NVIDIA GPU 執行的快速神經網路,可同時偵測並分類 16 種缺陷類型與位置,以超人般的輸出量達到 98% 的精準度。

— 富士康 D Group 總經理 Mark Chien

Mellanox SmartNICs 與交換器為資料存取提供理想的 [輸入/輸出 (I/O)] 連線能力,能從邊緣端擴充到超大規模的資料中心。結合高效能、低延遲與加速網路,可提供新型的運算基礎架構層,有效存取與供應資料,以滿足 NVIDIA EGX 這類邊緣平台上新一代進階人工智慧解決方案的需求。

— Mellanox Technologies 技術長 Michael Kagan

企業級 EGX 應用軟體堆疊

企業級 EGX 應用軟體堆疊

NVIDIA EGX 是經過最佳化的應用軟體堆疊,包括 NVIDIA 驅動程式、Kubernetes 外掛程式、容器執行階段,並且可以作為佈署與管理容器式人工智慧框架與應用程式的基礎,如 NVIDIA TensorRT™、TensorRT 推論伺服器與 DeepStream。NVIDIA EGX 堆疊針對 NGC-Ready for Edge 伺服器最佳化,用於安裝的 Helm chart 則包含在 NVIDIA NGC registry 內。

EGX 合作夥伴

  • 邊緣伺服器製造商
  • 混合式雲端平台合作夥伴
Acer
Advantech
ASRock Rack
Asus
Atos
Cisco
Dell EMC
Fujitsu
Gigabyte
Hewlett Packard Enterprise
Inspur
Ineventec
Lenovo
Mitac
Quanta Cloud Technology
Supermicro
Tyan
wiwynn
Canonical
Cisco
Microsoft Azure
Nutanix
Red Hat
VMware

實際執行 NVIDIA EGX

訂閱以深入瞭解 NVIDIA EGX 邊緣運算平台。