Apache Spark mit GPU-Beschleunigung

NVIDIA CUDA^®ist eine revolutionäre parallele Prozessorarchitektur, die beschleunigte Rechenoperationen auf der NVIDIA GPU-Architektur unterstützt. Bei RAPIDS, das bei NVIDIA entwickelt wurde, handelt es sich um eine Suite von Open-Source-Bibliotheken, die auf CUDA aufsetzen und die GPU-Beschleunigung von Datenwissenschaftspipelines ermöglichen.

NVIDIA hat einen RAPIDS-Beschleuniger für Spark 3.0 entwickelt, der ETL-Pipelines abfängt und beschleunigt, indem er die Leistung von Spark SQL- und DataFrame-Operationen erheblich verbessert.

Spark 3.0 bietet Unterstützung für spaltenorientierte Verarbeitung im Catalyst Query Optimizer, wo der RAPIDS-Beschleuniger ansetzt, um SQL- und DataFrame-Operatoren zu beschleunigen. Wenn der Abfrageplan ausgeführt wird, können diese Operatoren auf GPUs innerhalb des Spark-Clusters ausgeführt werden.

NVIDIA hat außerdem eine neue Spark Shuffle-Implementierung entwickelt, die den Datentransfer zwischen den Spark-Prozessen optimiert. Diese Shuffle-Implementierung basiert auf GPU-beschleunigten Kommunikationsbibliotheken, einschließlich UCX, RDMA und NCCL.

Spark 3.0 erkennt GPUs als eine erstklassige Ressource zusammen mit CPU und Systemspeicher. Dadurch kann Spark 3.0 GPU-beschleunigte Workloads direkt auf Servern mit den erforderlichen GPU-Ressourcen platzieren, je nachdem, wie sie für die Beschleunigung und Ausführung eines Auftrags benötigt werden.

NVIDIA-Techniker haben zu dieser wichtigen Spark-Verbesserung beigetragen, die die Einführung von Spark-Anwendungen auf GPU-Ressourcen in Spark Standalone, YARN und Kubernetes-Clustern ermöglicht.