E-book

Beschleunigtes Apache Spark 3^™

Mit NVIDIA-Grafikprozessoren die nächste Stufe der Analytik und KI einläuten

GPU-accelerated libraries, DataFrame and APIs:

Layered on top of NVIDIA CUDA, RAPIDS is a suite of open-source software libraries and APIs that provide GPU parallelism and high-bandwidth memory speed through DataFrame and graph operations, achieving speedup factors of 50x or more on typical end-to-end data science workflows. For Spark 3.0, new RAPIDS APIs are used by Spark SQL and DataFrames for GPU accelerated memory efficient columnar data processing and query plans.
With Spark 3.0 the Catalyst query optimizer has been modified to identify operators within a query plan that can be accelerated with the RAPIDS API, and to schedule those operators on GPUs within the Spark cluster, when executing the query plan.
A new Spark shuffle implementation, built upon GPU accelerated communication libraries including Remote direct memory access (RDMA), dramatically reduces the data transfer among Spark processes. RDMA allows GPUs to communicate directly with each other, across nodes, at up to 100Gb/s, operating as if on one massive server.

GPU-aware Scheduling in Spark

Spark 3.0 adds integration with the cluster managers (YARN, Kubernetes, and Standalone) to request GPUs, and plugin points to allow it to be extended to run operations on the GPU. This makes GPUs easier to request and use for Spark application developers, allows for closer integration with deep learning and AI frameworks such as Horovod and TensorFlow on Spark, and allows for better utilization of GPUs.

Apache Spark™ ist ein leistungsstarkes Ausführungsmodul für umfangreiche parallele Datenverarbeitung in einem Cluster von Maschinen, das eine schnelle Anwendungsentwicklung und hohe Leistung ermöglicht.

Erfahren Sie in diesem E-Book, wie durch Innovationen mit Spark 3.0 die massiv-parallele Architektur von Grafikprozessoren zur weiteren Beschleunigung der Spark-Datenverarbeitung verwendet werden kann.

Füllen Sie das Formular unten aus, um das E-Book herunterzuladen und mehr über Folgendes zu erfahren:

Informationen zur Entwicklung der Datenverarbeitung, von Hadoop über Grafikprozessoren bis hin zur NVIDIA RAPIDS™-Bibliothek
Spark: Was es ist, was es tut und warum es wichtig ist
GPU-Beschleunigung in Spark
DataFrames und Spark SQL
Ein Beispiel für Spark-Regression mit Random Forest-Klassifikationsverfahren
Ein Beispiel zu lückenlosem Workflow für maschinelles Lernen mit XGBoost-Grafikprozessorbeschleunigung

Jetzt Herunterladen

Section

Section

Vorname

Nachname

Geschäftliche E-Mail-Adresse

Telefonnummer für Unternehmen

Name der Organisation/Universität

Branche

Berufsbezeichnung

Ort

Bevorzugte Sprache

enterpriseOptIns hidden field

developerOptIns hidden field

Ich möchte aktuelle Neuigkeiten, Ankündigungen und weitere Informationen von NVIDIA zu Business-Lösungen für Unternehmen erhalten.

Ich möchte aktuelle Neuigkeiten, Ankündigungen und weitere Informationen von NVIDIA zu Entwicklertechnologie & Tools erhalten.

Ich möchte aktuelle Neuigkeiten, Ankündigungen und weitere Informationen von NVIDIA zu Business-Lösungen für Unternehmen und Entwicklertechnologie & Tools erhalten.

Ich möchte aktuelle Neuigkeiten, Ankündigungen und weitere Informationen von NVIDIA zu folgenden Themen erhalten:

Business-Lösungen für Unternehmen

Technologie und Tools für Entwickler

(Optional). Eine Abmeldung ist jederzeit möglich.

NVIDIA-Datenschutzrichtlinie

Ich stimme der Erfassung und Verarbeitung der oben genannten Daten durch NVIDIA <span class="corporation-txt hidden">Corporation </span>zu Forschungszwecken und zur Organisation von Veranstaltungen zu und ich habe die <a href="https://www.nvidia.com/de-de/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA-Datenschutzrichtlinie</a> gelesen und stimme ihr zu.

Ich bin damit einverstanden, dass die oben genannten Informationen an die NVIDIA Corporation in den USA übertragen und gemäß den Anforderungen der <a href="https://www.nvidia.com/de-de/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA-Datenschutzrichtlinie</a> zu Forschungszwecken, zur Organisation von Veranstaltungen und für die entsprechenden internen Verwaltungs- und Systemanforderungen von NVIDIA gespeichert werden. Sie können uns kontaktieren, indem Sie eine E-Mail an <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> senden, um damit verbundene Probleme zu beheben.

Privacy - Terms

Beschleunigtes Apache Spark 3™

Jetzt Herunterladen

Beschleunigtes Apache Spark 3^™