高效能 資料科學

利用 GPU 的強大功能,輕鬆加速資料科學、機器學習和人工智慧工作流程。

透過高速 GPU 運算與平行資料載入、資料操作和機器學習,執行完整的資料科學工作流程,將端對端資料科學流程加快 50 倍。

為什麼要使用 RAPIDS?

nvidia-data-science-process-1cn-d

打造高效能生態系

RAPIDS 是一系列開放原始碼軟體函式庫和 API,可在 GPU 上執行完整的資料科學流程,並將訓練時間從數天縮短為幾分鐘。RAPIDS 採用 NVIDIA® CUDA-X AI 打造,結合繪圖運算、機器學習、深度學習、高效能運算 (HPC) 等領域多年來的開發成果。

縮短執行時間

縮短執行時間

資料科學的重點在於取得成果的速度。RAPIDS 實際運用 NVIDIA CUDA® 的效能,透過在 GPU 上執行完整的資料科學訓練流程,加速整體工作流程。將部署模型的訓練時間和頻率從數天縮短為幾分鐘。

使用相同的工具

使用相同的工具

透過隱藏 GPU 協作以及資料中心價購幕後通訊協定作業的複雜性,RAPIDS 創造了一種完成資料科學的簡易方法。由於有更多資料科學家使用 Python 和其他高階語言,因此對於快速改善開發時間來說,無需修改程式碼即可加速這一點非常重要。

隨時都能支援大規模執行

隨時都能支援大規模執行

不論在雲端或本機,隨處皆可執行 RAPIDS。輕鬆地從工作站擴充至多 GPU 伺服器,甚至是到多節點叢集,還能使用 Dask、Spark、MLFlow 和 Kubernetes 在生產環境中部署。

巨量資料上的飆速效能

結果顯示 GPU 可為小規模和大規模的巨量資料分析問題節省大量的成本和時間。RAPIDS 在 10 TB 的規模中,使用 Pandas 與 Dask 等常用 API 在 GPU 上執行的速度可以比頂尖的 CPU 基準快 20 倍。NVIDIA 的解決方案只採用 16 個 NVIDIA DGX A100 即可達到 350 個 CPU 伺服器的效能,更同時提供 HPC 級效能,成本效益多出 7 倍以上。

nvidia-16-dgx-a100-2c50-d

加速資料存取,減少資料活動

常見的資料處理作業有許多步驟 (資料流程),而 Hadoop 沒有辦法以高效率處理。Apache Spark 將所有資料都保存在系統記憶體來解決這個問題,讓資料流程可以變得更有彈性且更複雜,但同時也帶來了新的瓶頸。在具有數百個 CPU 節點的 Spark 叢集上分析幾百 GB 的資料即使不需要數天,也需要花費數小時。為了發揮資料科學的真正潛力,資料中心設計必須以 GPU 為中心,且包含以下五種要素:運算、網路、儲存空間、部署和軟體。一般來說,在 GPU 上進行端對端資料科學工作流程的速度比在 CPU 上快 10 倍。

閱讀部落格文章 ›

資料處理技術演變

Faster Data Access, Less Data Movement

不受地點限制的 RAPIDS

RAPIDS 為新的高效能資料科學生態系奠定基礎,並利用互通性降低使用新函式庫的門檻。與 Apache Spark、cuPY、Dask 和 Numba 等頂尖的資料科學框架,以及 PyTorch、TensorFlow 和 Apache MxNet 等眾多深度學習框架整合,可協助提高採用率,並促進與其他框架的整合。

  • 精選專案
  • 提案者
  • 採用者
  • 開放原始碼
blazingsql-logo

BlazingSQL 採用 RAPIDS,為 GPU 上的 ETL 大量資料集而打造,是在 Python 中的高效能分散式 SQL 引擎。

nvtabular-logo

以 RAPIDS 打造的 NVTabular 為 GPU 上的推薦系統加速特徵工程與前置處理。

custreamz-logo

StreamzcuStreamz 為基礎,用 Python 編寫,並採用 RAPIDS 打造,可加速 GPU 上的串流資料處理.

plotly-dash-logo

與 RAPIDS 整合的 Plotly Dash 即使在單一 GPU 上,也可以支援多 GB 資料集的即時互動式視覺化分析。

apache-spark-logo

適用於 Apache Spark 的 RAPIDS 加速器 為 Apache Spark 提供一系列外掛程式,可運用 GPU 加速 RAPIDS 和 UCX 軟體的處理。

anaconda-logo
Blazing SQL
capital-one-logo
cupy-logo
chainer-logo
deepwave-digital-logo
gunrock-logo
quansight-logo
walmart-logo
booz-allen-hamilton-logo
capital-one-logo
databricks-logo
graphistry-logo
h2oai-logo
ibm-logo
iguazio-logo
inria-logo
kinetica-logo
mapr-logo
omnisci-logo
preferred-networks-logo
pytorch-logo
uber-logo
ursa-labs-logo
walmart-logo
apache-arrow-logo
Blazing SQL
cupy-logo
dask-logo
gpu-open-analytics-initiative-goai-logo
nuclio-logo
numba-logo
scikit-learn-logo
dmlc-xgboost-logo

核心技術

RAPIDS 依靠 CUDA 基元進行低階的運算最佳化,但透過方便使用的 Python 介面展現出 GPU 平行處理和高記憶體頻寬。RAPIDS 支援端對端資料科學工作流程,包括資料載入與前置處理、機器學習、圖形分析及視覺化。這是一款功能完備的 Python 堆疊,能擴展至企業的大型資料使用案例。

資料載入與前置處理

資料載入與前置處理

RAPIDS 的資料載入、前置處理和 ETL 功能以 Apache Arrow 打造,可用於載入、加入、收集、篩選,或操作資料,而且全都是在科學家常用的類 Pandas API 中執行。使用者可預期獲得比一般快 10 倍以上的速度。

機器學習

機器學習

RAPIDS 的機器學習演算法和數學基元遵循常用的類 scikit-learn API。單一 GPU 和大型資料中心部署都支援 XGBoost、隨機森林等熱門工具。對於大型資料集而言,這些 GPU 實作與 CPU 同級相比,能以快 10 到 50 倍的速度完成作業。

圖形分析

圖形分析

RAPIDS 的圖表演算法 (如 PageRank) 和功能 (如 NetworkX) 可以有效運用 GPU 的大量平行計算技術,將大型圖表的分析加快超過 1000 倍。在單一 NVIDIA A100 Tensor 核心 GPU 上探索多達 2 億個邊緣端,並在 NVIDIA DGX™ A100 的叢集上擴充到數十億個邊緣端。

視覺化

視覺化

RAPIDS 的視覺化功能支援 GPU 加速的交叉篩選。此功能啟發自 JavaScript 的原始版本,能為超過 1 億行的表格式資料集提供超高速的互動式多維度篩選功能。

Machine Learning to Deep Learning: All on GPU

深度學習整合

雖然深度學習在電腦視覺、自然語言處理和推薦系統等領域中都很有效,但在某些領域中,使用深度學習並非主流。表格式資料問題由類別和連續變數的欄位所組成,通常會使用 XGBoost、梯度提升法或線性模型等技術。RAPIDS 可簡化 GPU 上表格式資料的前置處理,並將資料直接流暢地移交給支援 DLPack 的任何框架,如 PyTorch、TensorFlow 和 MxNet。這些整合開啟了全新的機會,讓我們創造豐富的工作流程,其中更包括之前無法達成的工作流程,像是將深度學習框架建立的新功能輸入到機器學習演算法。

適用於資料科學的現代資料中心

要在企業中建立人工智慧最佳化的資料中心須具備 5 個關鍵因素。設計的關鍵是要以 GPU 為中心。

運算

運算

採用 NVIDIA GPU 的系統具備極高的運算效能,是打造人工智慧資料中心的核心基石。NVIDIA DGX 系統提供突破性的人工智慧效能,且平均可取代 50 個雙插槽的 CPU 伺服器。要為資料科學家提供業界最強大的工具以進行資料探索,就從這一步開始。

軟體

軟體

透過隱藏在資料中心架構中使用 GPU 和幕後通訊協定作業的複雜性,RAPIDS 創造了一種完成資料科學的簡易方法。由於有更多資料科學家使用 Python 和其他高階語言,因此對於快速改善開發時間來說,無需修改程式碼即可加速這一點非常重要。

網路

網路

在 NVIDIA Mellanox® 網路介面控制器 (NIC)、NCCL2 (NVIDIA 集合通訊函式庫) 和 OpenUCX (開放原始碼點對點通訊框架) 中的遠端直接記憶體存取 (RDMA) 大幅改善了訓練速度。RDMA 允許 GPU 以每秒高達 100 GB (Gb/秒) 直接跨節點與彼此通訊,讓它們的涵蓋範圍可跨多個節點,就像在一台龐大的伺服器上一起運作。

部署

部署

企業正轉而使用 Kubernetes 和 Docker 容器來部署大規模流程。透過結合容器化應用程式與 Kubernetes,企業可以改變最重要任務的優先順序,並為人工智慧資料中心帶來彈性、可靠性和可擴充性。

儲存空間

儲存空間

GPUDirect® 儲存空間讓 NVMe 和 NVMe over Fabric (NVMe-oF) 可以繞過 CPU 和系統記憶體,直接讀取資料並將其寫入 GPU。這可以釋放出 CPU 和系統記憶體供其他作業使用,同時讓每個 GPU 都能以提升多達 50% 的頻寬存取更大數量級的資料。

我們對開放原始碼作出的努力 資料科學

NVIDIA 致力於為開放原始碼社群簡化、整合與加速資料科學。NVIDIA 透過最佳化整個堆疊 (從硬體到軟體),並消弭迭代資料科學的瓶頸,讓全球各地的資料科學家都能以更少的資源執行更多作業。這讓企業最珍貴的資源:資料和資料科學家,發揮更多價值。Apache 2.0 開放原始碼軟體 RAPIDS 彙集了 GPU 上的生態系。

在沒有運算能力的情況下,資料科學家必須「簡化」演算法,執行速度才會夠快。但如今再也不用了,GPU 讓我們可以完成以前辦不到的作業。

- Bill Groves,Walmart 資料長

NASA 的全球模型會產生數 TB 的資料。在 RAPIDS 問世之前,按下按鈕之後要等待六到七小時才能取得結果。加速訓練週期完全顛覆了以往開發模型的模式。

- John Keller 博士,NASA Goddard 航太中心

隨著模型訓練將時間縮短了 100 倍,成本節省了 98%,Capital One 將 RAPIDS.ai 和 Dask 視為資料科學和機器學習的下一股熱門風潮。

- Mike McCarty,Capital One 機器學習中心軟體工程總監

立即開始使用