LIBRO ELECTRÓNICO

Acelerar Apache Spark 3

Aprovechar las GPU de NVIDIA para impulsar la próxima era de análisis e IA

GPU-accelerated libraries, DataFrame and APIs:

  • Layered on top of NVIDIA CUDA, RAPIDS is a suite of open-source software libraries and APIs that provide GPU parallelism and high-bandwidth memory speed through DataFrame and graph operations, achieving speedup factors of 50x or more on typical end-to-end data science workflows. For Spark 3.0, new RAPIDS APIs are used by Spark SQL and DataFrames for GPU accelerated memory efficient columnar data processing and query plans.
  • With Spark 3.0 the Catalyst query optimizer has been modified to identify operators within a query plan that can be accelerated with the RAPIDS API, and to schedule those operators on GPUs within the Spark cluster, when executing the query plan.
  • A new Spark shuffle implementation, built upon GPU accelerated communication libraries including Remote direct memory access (RDMA), dramatically reduces the data transfer among Spark processes. RDMA allows GPUs to communicate directly with each other, across nodes, at up to 100Gb/s, operating as if on one massive server.


GPU-aware Scheduling in Spark

  • Spark 3.0 adds integration with the cluster managers (YARN, Kubernetes, and Standalone) to request GPUs, and plugin points to allow it to be extended to run operations on the GPU. This makes GPUs easier to request and use for Spark application developers, allows for closer integration with deep learning and AI frameworks such as Horovod and TensorFlow on Spark, and allows for better utilization of GPUs.

 

Apache Spark es un potente motor de ejecución para el procesamiento de datos paralelos a gran escala en un clúster de máquinas, lo que permite un desarrollo rápido de aplicaciones y un alto rendimiento.

En este libro electrónico, descubre cómo las innovaciones de Spark 3.0 permiten usar la arquitectura masivamente paralela de GPU para acelerar aún más el procesamiento de datos de Spark.

Rellena el formulario siguiente para descargar el libro electrónico y obtener información sobre lo siguiente:

  • La evolución del procesamiento de datos, desde Hadoop hasta las GPU y la biblioteca RAPIDS™
  • Spark, qué es, qué hace y por qué es importa
  • Aceleración por GPU en Spark
  • DataFrames y Spark SQL
  • Un ejemplo de regresión de Spark con clasificador de bosque aleatorio
  • Un ejemplo de flujo de trabajo de aprendizaje automático completo acelerado por GPU con XGBoost
spark-e-book-thumb

DESCARGAR AHORA

  1. Section
Envíame las últimas novedades de noticias empresariales, así como anuncios y otra información de NVIDIA. Puedo cancelar la suscripción en cualquier momento.

Productos

Tecnologías

Software

Recursos