Ускорение Apache Spark™ 3

Новая эра аналитики и ИИ с GPU NVIDIA

GPU-accelerated libraries, DataFrame and APIs:

Layered on top of NVIDIA CUDA, RAPIDS is a suite of open-source software libraries and APIs that provide GPU parallelism and high-bandwidth memory speed through DataFrame and graph operations, achieving speedup factors of 50x or more on typical end-to-end data science workflows. For Spark 3.0, new RAPIDS APIs are used by Spark SQL and DataFrames for GPU accelerated memory efficient columnar data processing and query plans.
With Spark 3.0 the Catalyst query optimizer has been modified to identify operators within a query plan that can be accelerated with the RAPIDS API, and to schedule those operators on GPUs within the Spark cluster, when executing the query plan.
A new Spark shuffle implementation, built upon GPU accelerated communication libraries including Remote direct memory access (RDMA), dramatically reduces the data transfer among Spark processes. RDMA allows GPUs to communicate directly with each other, across nodes, at up to 100Gb/s, operating as if on one massive server.

GPU-aware Scheduling in Spark

Spark 3.0 adds integration with the cluster managers (YARN, Kubernetes, and Standalone) to request GPUs, and plugin points to allow it to be extended to run operations on the GPU. This makes GPUs easier to request and use for Spark application developers, allows for closer integration with deep learning and AI frameworks such as Horovod and TensorFlow on Spark, and allows for better utilization of GPUs.

Apache Spark™ — это платформа параллельной обработки больших объемов данных на кластере устройств, которая обеспечивает быструю разработку приложений и высокую производительность.

В этой брошюре узнайте, как инновации в Spark 3 позволяют использовать массово-параллельную архитектуру GPU для еще большего ускорения обработки данных в Spark.

Заполните форму ниже, чтобы скачать брошюру, и узнайте:

об эволюции обработки данных, от Hadoop до GPU, и библиотеке NVIDIA RAPIDS™;
о модуле Spark, для чего он предназначен и чем может быть полезен;
об ускорении GPU в Spark;
о DataFrame и SQL Spark;
о регрессии в Spark с использованием алгоритма случайного леса;
об ускорении процесса машинного обучения на GPU с XGBoost.

СКАЧАТЬ

Section

Section

Имя

Фамилия

Рабочий адрес электронной почты

Название организации/университета

Отрасль

Занимаемая должность

Страна

Предпочитаемый язык

enterpriseOptIns hidden field

developerOptIns hidden field

Я хочу получать новостную рассылку NVIDIA по корпоративным решениям для бизнеса.

Я хочу получать новостную рассылку NVIDIA по технологиям и инструментам для разработчиков.

Я хочу получать новостную рассылку NVIDIA по корпоративным решениям для бизнеса, технологиям и инструментам для разработчиков.

Я хочу получать рассылку NVIDIA по:

Enterprise Business Solutions

Developer Technology & Tools

(Необязательно). Вы можете отменить подписку в любое время.

Положение о конфиденциальности NVIDIA

本人知悉且同意 NVIDIA 基于调研、活动组织的目的对本人的上述信息的收集和处理，并已经阅读并同意 <a href="https://www.nvidia.cn/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA 隐私政策</a>。

本人知悉且同意，因调研、活动组织的必须，以及相对应的 NVIDIA 内部管理和系统操作的需要，上述信息会被传输到位于美国的 NVIDIA Corporation 按照符合 <a href="https://www.nvidia.cn/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA 隐私政策</a>的方式进行存储，您可以通过发送邮件至 <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> 进行联系以解决相关问题，实现可适用的数据保护法所规定的权利。