This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Spark Apache Acelerado Por GPU

Para Análises de Dados, Machine Learning e Pipelines de Deep Learning

Acelere com GPU seus pipelines de ciência de dados do Apache Spark 3, sem alterações de código, e acelere o processamento de dados e o treinamento de modelos, reduzindo substancialmente os custos de infraestrutura.

Principais Vantagens do Spark nas GPUs NVIDIA

Tempo de Execução Mais Rápido

Os cientistas de dados e engenheiros podem acelerar os workflows do Apache Spark ETL nas GPUs NVIDIA para agilizar as consultas e reduzir o tempo total, de ponta a ponta, para longos workflows. Isso os libera para se concentrar em trabalhos mais críticos.

Da Análise à AI

O treinamento de um modelo geralmente requer uma série de etapas demoradas, incluindo limpeza e normalização. Com o Spark nas GPUs, os usuários podem obter resultados mais rapidamente com um pipeline acelerado por GPU de ponta a ponta para aplicativos de ML e Deep Learning (DL).

Custos de Infraestrutura Reduzidos

Mais trabalho pode ser realizado em uma GPU do que em uma CPU, com paralelismo inerente. Como resultado, o Spark nas GPUs NVIDIA exige menos hardware para concluir um trabalho, economizando custos de investimento das empresas em servidores locais ou via custos operacionais no cloud.

Insights Antecipados

Use a ferramenta inteligente de otimização de carga de trabalho para qualificar e estimar os benefícios de custo para suas cargas de trabalho Apache Spark que são adequados para Aceleração de GPU. Isto fornece parâmetros de GPU recomendados e otimizados para economia de custos e desempenho.

Workshop

Veja suas cargas de trabalho de faísca Rip

Interessado em acelerar seus trabalhos de Spark com GPUs? Inscreva-se hoje para um workshop gratuito para avaliar suas cargas de trabalho.

Cadastre-se agora

Inovações Do Spark 3

Dada a natureza de trabalho em paralelo de muitas tarefas de processamento de dados, é natural que a arquitetura de uma GPU seja aproveitada para consultas de processamento de dados Spark. Isso seria semelhante ao modo como uma GPU acelera os workflows de deep learning em AI. A aceleração da GPU é transparente para o desenvolvedor e não requer alterações de código para obter estes benefícios. Aqui estão os três avanços que contribuíram para a obtenção da aceleração transparente da GPU no Spark 3.

Novo Acelerador RAPIDS para Spark 3

O NVIDIA CUDA® é uma arquitetura de computação paralela revolucionária que suporta operações computacionais aceleradas na arquitetura de GPU NVIDIA. O RAPIDS, incubado na NVIDIA, é um conjunto de bibliotecas de código aberto sobrepostas ao CUDA que permite a aceleração por GPU de pipelines de ciência de dados.

A NVIDIA criou um acelerador RAPIDS para Spark 3 que intercepta e acelera os pipelines ETL melhorando significativamente o desempenho das operações Spark SQL e DataFrame.

Modificações nos Componentes Spark

A NVIDIA modificou o otimizador de consulta Catalyst no Spark 3 para identificar operações dentro de uma busca, que pode ser acelerada via RAPIDS. Quando o Spark executa a busca, estas operações podem ser agendadas para execução em GPUs no cluster Spark.

A NVIDIA também criou uma implementação do shuffle Spark que otimiza a transferência de dados entre os processos do Spark. Essa implementação aleatória é construída sobre bibliotecas de processamento acelerado por GPU, incluindo UCX, RDMA e NCCL.

Agendamento com GPU no Spark

A NVIDIA otimizou o agendador de tarefas no Spark 3 para permitir o lançamento de aplicativos Spark em recursos específicos da GPU. O Spark 3 reconhece as GPUs como um recurso de primeira classe, juntamente com a CPU e a memória do sistema. Isso permite que o Spark 3 coloque cargas de trabalho aceleradas por GPU diretamente em servidores que contêm os recursos GPU requisitados, conforme são necessários para concluir um trabalho.

deep-learning-apache-spark-3-innovations-refactored

No Spark 3, agora você pode ter um único pipeline, da entrada de dados à preparação de dados e ao treinamento de modelos. As operações de preparação de dados agora são aceleradas por GPU e a infraestrutura de ciência de dados é consolidada e simplificada.

Análise Acelerada E Ai No Spark

O Spark 3 marca um marco importante para análises e AI pois as operações ETL agora são aceleradas, enquanto as aplicações em ML e DL aproveitam a mesma infraestrutura de GPU. O pacote completo deste pipeline acelerado de ciência de dados é mostrada abaixo:

Comece Com O Spark Acelerado Por GPU

Faça download do RAPIDS Accelerator for Spark 3 para acelerar por GPU seus pipelines de ciência de dados do Apache Spark. Os clientes também podem entrar em contato com a equipe NVIDIA Spark no GitHub aqui.

Faça Download do Spark

A integração do Cloudera e da NVIDIA nos permitirá usar insights baseados em dados para potencializar casos de uso de missão crítica. Estamos implementando essa integração e já observando melhorias na velocidade de mais de 10 vezes pela metade do custo de nossos workflows de engenharia e ciência de dados.

– Joe Ansaldi, IRS / Divisão de Análise Aplicada de Pesquisa e Estatística (RAAS) / Chefe do Departamento Técnico

Estamos vendo um desempenho significativamente mais rápido com o Spark 3 acelerado pela NVIDIA em comparação com a execução do Spark nas CPUs. Com esses ganhos de desempenho de GPU que mudam o jogo, novas possibilidades se abrem para aprimorar os recursos orientados por AI em nosso conjunto completo de aplicaçõeos Adobe Experience Cloud.

- William Yan, Diretor Sênior de Machine Learning, Adobe

Nosso trabalho contínuo com a NVIDIA aprimora o desempenho com otimizações RAPIDS para Apache Spark 3 e Databricks para beneficiar nossos clientes em comum, como a Adobe. Essas contribuições levam a pipelines de dados mais rápidos, treinamento e pontuação de modelos, que se traduzem diretamente em mais descobertas para a nossa comunidade de engenheiros de dados e cientistas de dados.

- Matei Zaharia, criador original do Apache Spark e Chefe Tecnólogo da Databricks

A integração do Cloudera e da NVIDIA nos permitirá usar insights baseados em dados para potencializar casos de uso de missão crítica. Estamos implementando essa integração e já observando melhorias na velocidade de mais de 10 vezes pela metade do custo de nossos workflows de engenharia e ciência de dados.

- Joe Ansaldi, IRS / Divisão de Análise Aplicada de Pesquisa e Estatística (RAAS) / Chefe do Departamento Técnico

Estamos vendo um desempenho significativamente mais rápido com o Spark 3 acelerado pela NVIDIA em comparação com a execução do Spark nas CPUs. Com esses ganhos de desempenho de GPU que mudam o jogo, novas possibilidades se abrem para aprimorar os recursos orientados por AI em nosso conjunto completo de aplicaçõeos Adobe Experience Cloud.

- William Yan, Diretor Sênior de Machine Learning, Adobe

Nosso trabalho contínuo com a NVIDIA aprimora o desempenho com otimizações RAPIDS para Apache Spark 3 e Databricks para beneficiar nossos clientes em comum, como a Adobe. Essas contribuições levam a pipelines de dados mais rápidos, treinamento e pontuação de modelos, que se traduzem diretamente em mais descobertas para a nossa comunidade de engenheiros de dados e cientistas de dados.

- Matei Zaharia, criador original do Apache Spark e Chefe Tecnólogo da Databricks

A integração do Cloudera e da NVIDIA nos permitirá usar insights baseados em dados para potencializar casos de uso de missão crítica. Estamos implementando essa integração e já observando melhorias na velocidade de mais de 10 vezes pela metade do custo de nossos workflows de engenharia e ciência de dados.

- Joe Ansaldi, IRS / Divisão de Análise Aplicada de Pesquisa e Estatística (RAAS) / Chefe do Departamento Técnico

Estamos vendo um desempenho significativamente mais rápido com o Spark 3 acelerado pela NVIDIA em comparação com a execução do Spark nas CPUs. Com esses ganhos de desempenho de GPU que mudam o jogo, novas possibilidades se abrem para aprimorar os recursos orientados por AI em nosso conjunto completo de aplicaçõeos Adobe Experience Cloud.

- William Yan, Diretor Sênior de Machine Learning, Adobe

Nosso trabalho contínuo com a NVIDIA aprimora o desempenho com otimizações RAPIDS para Apache Spark 3 e Databricks para beneficiar nossos clientes em comum, como a Adobe. Essas contribuições levam a pipelines de dados mais rápidos, treinamento e pontuação de modelos, que se traduzem diretamente em mais descobertas para a nossa comunidade de engenheiros de dados e cientistas de dados.

- Matei Zaharia, criador original do Apache Spark e Chefe Tecnólogo da Databricks

Faça Download Gratuitamente de Nosso eBook

Você deseja aumentar o valor do big data com o poder da AI? Faça o download do nosso novo eBook, “Introdução à Aceleração da Ciência de Dados no Apache Spark 3" para saber mais sobre a próxima evolução no Apache Spark.

Faça Download Agora

Contact A Spark Expert

Section

Section

Nome

Sobrenome

E-mail Corporativo

Telefone

Organization / University Name

Setor

Função

Local

Idioma preferencial

Please provide details for your use case

Envie para mim as últimas novidades, anúncios e mais da NVIDIA na área empresarial. Posso cancelar a inscrição a qualquer momento.

本人知悉且同意 NVIDIA Corporation 基于调研、活动组织的目的对本人的上述信息的收集和处理，并已经阅读并同意 <a href="https://www.nvidia.cn/about-nvidia/privacy-policy/" target="_blank">NVIDIA 隐私政策</a>。

本人知悉且同意，因调研、活动组织的必须，以及相对应的 NVIDIA 内部管理和系统操作的需要，上述信息会被传输到位于美国的 NVIDIA Corporation 按照符合 <a href="https://www.nvidia.cn/about-nvidia/privacy-policy/" target="_blank">NVIDIA 隐私政策</a>的方式进行存储，您可以通过发送邮件至 <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> 进行联系以解决相关问题，实现可适用的数据保护法所规定的权利。