ハイパフォーマンス データ サイエンス

GPU のパワーを活用し、データ サイエンス、機械学習、AI のワークフローを簡単に加速します。

高速な GPU コンピューティングによりデータ サイエンスのワークフロー全体を実行し、データのロード、データ操作、機械学習を並列化することで、エンドツーエンドのデータ サイエンス パイプラインを 50 倍高速化します。

RAPIDS を選ぶ理由

nvidia-data-science-process-1cn-d

ハイパフォーマンス エコシステムを構築する

RAPIDS は、データ サイエンス パイプライン全体を GPU で実行するためのオープンソース ソフトウェア ライブラリと API のスイートで、トレーニング時間を数日から数分に短縮できます。NVIDIA^®^ CUDA-X AI^™^ で構築された RAPIDS は、グラフィックス、機械学習、ディープラーニング、ハイパフォーマンス コンピューティング (HPC) などの数年間にわたる開発の成果です。

実行時間を短縮する

実行時間を短縮する

データ サイエンスでは、結果を得るまでの時間を短縮することが重要です。RAPIDS は内部で NVIDIA CUDA® を活用し、GPU でデータ サイエンス トレーニング パイプライン全体を実行することでワークフローを高速化します。これによりトレーニング時間が短縮され、モデル デプロイメントの頻度が数日から数分になります。

同じツールを使用する

同じツールを使用する

RAPIDS を利用すると、GPU を使った複雑な作業に加え、データ センター アーキテクチャ内の背後で実行される通信プロトコルも表に出なくなるため、データ サイエンスをシンプルに行えます。Python などのハイレベルな言語を使用するデータ サイエンティストが増えているため、開発期間を迅速に短縮するためには、コードの変更することなく高速化を実現することが不可欠です。

場所を問わない大規模な実行

場所を問わない大規模な実行

RAPIDS は、クラウドでもオンプレミスでも、どこでも実行できます。ワークステーションからマルチ GPU サーバー、マルチノード クラスターに簡単にスケールできます。また、Dask、Spark、MLFlow、Kubernetes で運用環境にデプロイできます。

ビッグ データでの超高速パフォーマンス

GPU は規模にかかわらず、ビッグ データ分析問題のコストを劇的に削減し、時間を大幅に節約するという結果が出ています。RAPIDS では Pandas や Dask などの一般的な API を使用しており、GPU により 10 テラバイトの規模で最上位 CPU の最大 20 倍高速なパフォーマンスを実現します。わずか 16 基の NVIDIA DGX A100 で CPU ベースのサーバー 350 台分のパフォーマンスを達成する NVIDIA のソリューションは、7 倍以上の費用対効果で HPC レベルのパフォーマンスを実現します。

nvidia-16-dgx-a100-2c50-d

データ アクセスを加速し、データ移動を減少する

一般的なデータ処理タスクには多数の段階 (データ パイプライン) がありますが、これは Hadoop では効率的に処理できません。Apache Spark では、すべてのデータをシステム メモリに保持することでこの問題を解決し、より柔軟で複雑なデータ パイプラインを可能にしましたが、別のボトルネックが出現しました。数百の CPU ノードによる Spark クラスターでは、数百ギガバイト (GB) のデータ分析でさえ、数日とまではいかなくとも何時間も必要だったのです。データ サイエンスの真の可能性を引き出すには、GPU がデータ センター設計の中心となり、コンピューティング、ネットワーキング、ストレージ、デプロイ、ソフトウェアの 5 つの要素で構成されている必要があります。通常、GPU によるエンドツーエンドのデータ サイエンス ワークフローでは、CPU の 10 倍高速化します。

ブログを読む ›

データ処理の進化

Faster Data Access, Less Data Movement

RAPIDS をあらゆる場所で

RAPIDS は高パフォーマンスの新しいデータ サイエンス エコシステムの基礎を提供し、相互運用性により新しいライブラリの参入障壁を緩和します。Apache Spark、cuPY、Dask、Numba などの最先端のデータ サイエンス フレームワークや、PyTorch、TensorFlow、Apache MxNet などの数々のディープラーニング フレームワークと統合することで、より広範囲での採用や、その他のフレームワークとの統合の促進に役立てることができます。RAPIDS および関連するフレームワークは、NGC カタログに掲載されています。

  • 注目のプロジェクト
  • 協力
  • 導入事例
  • オープン ソース
blazingsql-logo

BlazingSQL は Python の高パフォーマンス分散型 SQL エンジンで、RAPIDS 上で GPU の大規模なデータセットの抽出、変換、ロードを行うよう構築されています。

nvtabular-logo

RAPIDS を基盤とする NVTabular は、GPU 上のレコメンダー システムのための特徴量エンジニアリングと前処理を高速化します。

custreamz-logo

Streamz を基礎として Python で記述された cuStreamz は、RAPIDS 上に構築され、GPU のストリーミング データ処理を高速化します。

plotly-dash-logo

RAPIDS に統合された Plotly Dash は、1 基の GPU であっても、数ギガバイトのデータセットのビジュアル分析をリアルタイムでインタラクティブに行うことができます。

apache-spark-logo

RAPIDS Accelerator for Apache Spark は Apache Spark 向けのプラグイン セットです。GPU を活用し、RAPIDS と UCX ソフトウェアを介して処理を高速化します。

anaconda-logo
Blazing SQL
capital-one-logo
cupy-logo
chainer-logo
deepwave-digital-logo
gunrock-logo
quansight-logo
walmart-logo
booz-allen-hamilton-logo
capital-one-logo
databricks-logo
graphistry-logo
h2oai-logo
ibm-logo
iguazio-logo
inria-logo
kinetica-logo
mapr-logo
omnisci-logo
preferred-networks-logo
pytorch-logo
uber-logo
ursa-labs-logo
walmart-logo
apache-arrow-logo
Blazing SQL
cupy-logo
dask-logo
gpu-open-analytics-initiative-goai-logo
nuclio-logo
numba-logo
scikit-learn-logo
dmlc-xgboost-logo

中心にあるテクノロジ

RAPIDS では、CUDA プリミティブを使用して低レベルのコンピューティング最適化を行っていますが、使いやすい Python のインターフェイスにより、GPU 並列処理と高メモリ帯域幅が利用可能になっています。RAPIDS では、データの読み込みや前処理から機械学習、グラフ解析、ビジュアライゼーションに至るまで、エンドツーエンドのデータ サイエンス ワークフローをサポートしています。フル機能の Python スタックで、企業レベルでビッグデータのユースケースにも対応可能です。

データ読み込みと前処理

データ読み込みと前処理

RAPIDS のデータ読み込み、前処理、ETL 機能は Apache Arrow 上で構築されており、データの読み込み、結合、集計、フィルタリングやその他の操作を、すべてデータ サイエンティストが使い慣れた Pandas に似た API で実行します。通常は 10 倍以上の高速化を見込むことができます。

機械学習

機械学習

RAPIDS の機械学習アルゴリズムと数学的プリミティブは、一般的な scikit-learn に似た API に従います。XGBoost や Random Forest などの人気のある多数のツールは、単一の GPU でのデプロイと大規模データセンターでのデプロイの両方をサポートしています。大型のデータセットの場合、この GPU ベースの実装では、10-50X faster than their CPU での場合と比較して 10 倍から 50 倍の速度で処理を完了できます。

Graph Analytics

Graph Analytics

RAPIDS の PageRank のようなアルゴリズムや、NetworkX のような関数により、GPU の大規模な並列処理を効率的に利用し、大型グラフの分析を 1000 倍以上高速化します。1 基の NVIDIA A100 Tensor コア GPU で最大 2 億個のエッジを処理し、NVIDIA DGX™ A100 クラスターで数十億個のエッジにスケーリングできます。

ビジュアライゼーション

ビジュアライゼーション

RAPIDS のビジュアライゼーション機能では、GPU 対応のクロスフィルタリングがサポートされています。オリジナルの JavaScript 版の影響を受けており、1 億行以上の表形式データセットの多次元フィルタリングをインタラクティブに、また超高速で実行できます。

Machine Learning to Deep Learning: All on GPU

ディープラーニングの統合

ディープラーニングはコンピューター ビジョン、自然言語処理、レコメンダーなどの分野で効果を発揮しますが、ディープラーニングの使用が主流になっていない分野があります。カテゴリ変数と連続変数の列で構成される表形式のデータ問題では、一般的に XGBoost、勾配ブースティング、線形モデルのような手法を利用します。RAPIDS では、GPU で表形式データの前処理を効率化し、PyTorch、TensorFlow、MxNet などの DLPack をサポートするフレームワークに直接データをシームレスに渡します。このような統合により、ディープラーニング フレームワークで作成した新機能を機械学習アルゴリズムに差し戻すなど、かつては意味がないと見なされていた、可能性豊かなワークフローを作成する新たな機会が開かれます。

データ サイエンスのための最新データ センター

企業で AI に最適化されたデータ センターを構築する場合、主要な構成要素が 5 つあります。設計の主眼は、GPU を中心に置くということです。

コンピューティング

コンピューティング

膨大な計算処理能力を誇る NVIDIA GPU を備えたシステムは、AI データ センターの核となるコンピューティング構成要素です。NVIDIA DGX Systems は画期的な AI パフォーマンスを実現し、平均でデュアルソケット CPU サーバー 50 台分に代わる働きをします。これは、業界で最もパワフルなデータ探索ツールをデータ サイエンティストに与える最初の一歩となります。

ソフトウェア

ソフトウェア

RAPIDS では、GPU による煩雑な作業やデータ センター アーキテクチャ内の裏側で稼働する通信プロトコルを表に出さず、データ サイエンス作業を行うシンプルな手法を作り出しています。Python などの高水準言語を使用するデータ サイエンティストが増えているため、開発期間を迅速に短縮するためには、コードの変更なしで高速化を提供することが必須です。

ネットワーキング

ネットワーキング

NVIDIA Mellanox® ネットワーク インターフェイス コントローラー (NIC) のリモート ダイレクト メモリ アクセス (RDMA)、NCCL2 (NVIDIA コレクティブ コミュニケーション ライブラリ)、OpenUCX (オープンソースのポイント間通信フレームワーク) により、トレーニング速度が大幅に改善されました。RDMA により、GPU はノード間の直接相互通信を最大で毎秒 100 ギガビット (Gb/秒) の速度で行うことができるため、複数のノードを 1 つの巨大なサーバーのように運用することが可能です。

導入事例

導入事例

企業はパイプラインを大規模展開するため、Kubernetes と Docker コンテナーに移行しています。コンテナー化されたアプリケーションを Kubernetes と組み合わせることで、企業は重要度に基づいてタスクの優先順位を変更し、AI データ センターに弾力性、信頼性、スケーラビリティを与えます。

ストレージ

ストレージ

GPUDirect® Storage により、NVMe と NVMe over Fabric (NVMe-oF) の両方で、CPU とシステム メモリを介さずに直接 GPU でデータの読み取りと書き出しを行うことができます。この結果、解放された CPU とシステムメモリを他のタスクに使用することができ、各 GPU は最大 50% 向上した帯域幅で桁違いに多いデータにアクセス可能になります。

オープンソースに対する NVIDIA のコミットメント データ サイエンス

NVIDIA は、オープンソース コミュニティのため、データ サイエンスの簡素化、統一化、高速化に取り組んでいます。NVIDIA は、ハードウェアからソフトウェアまでのスタック全体を最適化し、反復データ サイエンスのボトルネックを解消することで、世界中のデータ サイエンティストがこれまで以上に低いコストで多くのことを実行できるよう支援しています。これは、企業にとって最も貴重なリソースであるデータおよびデータ サイエンティストの価値を高めることになります。RAPIDS は、Apache 2.0 オープンソース ソフトウェアとして、GPU にエコシステムを構築します。

演算性能が不足していると、データ サイエンティストは、実用的な速度を得るためにアルゴリズムをあえて低速化させる必要がありました。今後、そのようなことはありません。GPU はかつて不可能であったことを可能にします。

- Walmart、データ部門最高責任者、Bill Groves 氏

NASA のグローバル モデルはテラバイト単位のデータを生成します。RAPIDS が登場する前は、ボタンを押してから結果を得るまで 6 時間から 7 時間も待つ必要がありました。トレーニング サイクルの高速化で、モデル開発の様相がまったく変わりました。

- NASA ゴダード宇宙飛行センター、John Keller 博士

Capital One では、モデルトレーニング時間を 100 倍に向上させ、コストを 98% 削減したことから、RAPIDS.ai および Dask が今後データ サイエンスと機械学習において重要になるものと考えています。

- Capital One 機械学習センター、ソフトウェア エンジニアリング ディレクター、Mike McCarty 氏

今すぐ始める