終端即時人工智慧

即時與客戶溝通。從工廠內部到商店走道,透過來自數十億感測器的資料,迅速適應變化。即時診斷疾病,並提供救命照護。現在這些都成為可能: 智慧零售醫療保健, 製造, 交通城市 因為如今有了強大的人工智慧與 NVIDIA EGX 平台,能將加速人工智慧運算的力量發揮到極致。

高效能且可擴充

EGX 從小型的 NVIDIA® Jetson Nano 開始,只需要數瓦即能執行每秒 1.5 兆次運算 (TOPS) 處理,可應用於圖像辨識等作業。EGX 還可向上擴充直至裝滿整個 NVIDIA T4 伺服器,提供超過 10,000 TOPS 的效能,為數百名使用者提供即時語音辨識,以及其它複雜的人工智慧體驗。

混合式雲端與多雲端物聯網

NVIDIA EGX 的架構與各大雲端服務提供的 NVIDIA 人工智慧運算相容。所有在雲端開發的人工智慧應用程式都可以在 NVIDIA EGX 上執行,反之亦然。NVIDIA Edge Stack 連接各大雲端的物聯網服務,客戶可以透過 AWS IoT Greengrass 及 Microsoft Azure IoT Edge 遠端管理服務內容。

企業級服務與安全性

NVIDIA Edge Stack 已在領先業界的企業級 Kubernetes 容器編排平台 Red Hat OpenShift 上最佳化。Mellanox Smart NIC 可卸載與加速軟體定義網路,在不影響 CPU 效能的情況下提高隔離層級與安全性。

Seagate 已經在製造廠部署了智慧型邊緣端 GPU 視覺解決方案,由此檢驗硬碟讀寫頭的品質。NVIDIA EGX 平台大幅加速邊緣端推論能力,讓我們發現過去操作人員無法看到的細微瑕疵。我們期望透過改善效率和提高品質,能增加 10% 產量以及達到 300% 投資報酬率。

— Seagate Technology 資深首席資料科學家 Bruce King

人工智慧是實現精準健康管理的基石,必須從雲端到終端都能廣泛使用,並且能直接應用在醫療裝置上。透過直接在我們的醫療設備嵌入 NVIDIA T4 GPU,NVIDIA EGX 讓 GE Healthcare 能快速取得 MR 結果、提升影像品質並減少變異性,這一切都讓我們更接近改善病人治療成果的目標。即時重症照護案例需要邊緣端人工智慧。這就是我們打造 Edison 智慧服務,並與 NVIDIA 合作將人工智慧應用於醫療設備與 Edison 邊緣端設備的原因,且我們與 ACR AI-LAB 合作,讓人工智慧更普及,也是基於相同的理由。

— GE Healthcare MR 應用總經理 Jason Polzin 博士

Red Hat 致力於為各類工作負載、使用量與位置提供一致的體驗,包括從混合式雲端到邊緣端。透過結合 Red Hat OpenShift 與 NVIDIA EGX 平台,客戶可以在一致、高效能且以容器為中心的環境中,進一步將分散式作業最佳化。

— Red Hat 技術長 Chris Wright

富士康的 PC 生產線受限於檢查速度,因為目前人工檢查每個零件需要花費 4 秒。我們的目標是透過運用 NVIDIA EGX 平台,在邊緣端落實即時智慧決策,藉此提升 40% 以上的 PC 產量。我們的模型採用在 NVIDIA GPU 執行的快速神經網路,可同時偵測並分類 16 種缺陷類型與位置,以超人般的輸出量達到 98% 的精準度。

—富士康 D Group 總經理 Mark Chien

Mellanox Smart NIC 與交換器為資料存取提供理想的 I/O 連線能力,能從邊緣端擴充到超大規模的資料中心。結合高效能、低延遲與加速網路,可提供新型的運算基礎架構層,有效存取與供應資料,以滿足 NVIDIA EGX 這類邊緣平台上新一代進階人工智慧解決方案的需求。

— Mellanox Technologies 技術長 Michael Kagan

企業級邊緣端軟體堆疊

nvidia-egx-platform-software-stack-1cN-D

NVIDIA Edge Stack 是經過最佳化的軟體堆疊,包括 NVIDIA 驅動程式、 CUDA® Kubernetes 外掛程式、CUDA Docker 容器執行階段、CUDA-X 函式庫以及容器式人工智慧框架與應用程式,如 NVIDIA TensorRT,、TensorRT 推論伺服器與 DeepStream。NVIDIA Edge Stack 已針對認證伺服器進行最佳化,可由 NVIDIA NGC registry下載.。

EGX 合作夥伴

  • 邊緣伺服器
  • 邊緣微型伺服器

實際執行 NVIDIA EGX

深入瞭解 NVIDIA EGX 邊緣運算平台。