This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

Ciência de Dados de Alto Desempenho

Aproveite o poder das GPUs para acelerar seus workflows de ciência de dados, machine learning e AI.

Execute workflows de ciência de dados inteiros em computação de GPU de alta velocidade e paralelize o carregamento e a manipulação de dados, junto com o machine learning para obter pipelines de ciência de dados de ponta a ponta 50 vezes mais rápidos.

Por Que o RAPIDS?

Hoje em dia, a ciência de dados e o machine learning se tornaram o maior segmento de computação do mundo. As melhorias na precisão dos modelos analíticos se traduzem em bilhões no resultado final. Para construir os melhores modelos, os cientistas de dados precisam trabalhar duro para treinar, avaliar, iterar e retreinar para resultados e modelos de desempenho altamente precisos. Com o RAPIDS™, processos que levariam dias são feitos em minutos, facilitando e agilizando a construção e a implantação de modelos de geração de valor.

Os workflows têm muitas iterações de transformação de dados brutos em dados de treinamento, que são alimentados em muitas combinações de algoritmos, que passam por ajuste de hiperparâmetros para encontrar as combinações certas de modelos, parâmetros de modelo e recursos de dados para obter precisão e desempenho ideais.

Construindo um Ecossistema de Alto Desempenho

O RAPIDS é um pacote de APIs e bibliotecas de software de código aberto para a execução de pipelines de ciência de dados totalmente nas GPUs, além de poder reduzir os tempos de treinamento de dias para minutos. Desenvolvido com o NVIDIA® CUDA-X AI™, o RAPIDS combina anos de desenvolvimento em gráficos, machine learning, deep learning, computação de alto desempenho (HPC) e muito mais.

Tempo de Execução Mais Rápido

O mais importante na ciência de dados é a velocidade na obtenção dos resultados. O RAPIDS aproveita a tecnologia NVIDIA CUDA^® para acelerar seus workflows ao executar todo o pipeline de treinamento de ciência de dados nas GPUs, reduzindo assim o tempo de treinamento e a frequência da implantação de modelos de dias para minutos.

Use as Mesmas Ferramentas

Ao ocultar a complexidade de se trabalhar com GPU e, até mesmo, os protocolos de comunicação subjacentes na arquitetura do data center, o RAPIDS cria uma maneira simples de fazer ciência de dados. À medida que mais cientistas de dados usam Python e outras linguagens de alto nível, oferecer aceleração sem alteração de código é essencial para melhorar rapidamente o tempo de desenvolvimento

Execute em Qualquer Lugar e em Escala

O RAPIDS pode ser executado em qualquer lugar, no cloud ou localmente. Você pode dimensionar de uma workstation para servidores de várias GPUs e clusters de vários nós com facilidade, assim como implantá-lo na produção com o Dask, Spark, MLFlow e Kubernetes.

Desempenho Extremamente Rápido em Big Data

Os resultados mostram que as GPUs fornecem custos e economia de tempo significativos para problemas analíticos de Big Data de pequena e grande escala. Usando APIs conehcidos como Pandas e Dask, em escala de 10 terabytes, o RAPIDS tem desempenho até 20 vezes mais rápido em GPUs do que em CPUs. Usando apenas 16 NVIDIA DGX A100s para atingir o desempenho de 350 servidores baseados em CPU, a solução da NVIDIA é 7 vezes mais econômica, ao mesmo tempo que oferece desempenho de nível HPC.

Leia a Publicação ›

Acesso Mais Rápido aos Dados, Menos Movimento de Dados

As tarefas de processamento de dados comuns têm muitas etapas (pipelines de dados), que o Hadoop não consegue manipular com eficiência. O Apache Spark resolveu esse problema mantendo todos os dados na memória do sistema, o que permitiu canais de dados mais flexíveis e complexos, mas introduziu novos gargalos. A análise de até mesmo algumas centenas de gigabytes (GB) de dados pode levar horas ou dias em clusters do Spark com centenas de nós de CPU. Para aproveitar o verdadeiro potencial da ciência de dados, as GPUs precisam estar no centro do design do data center, que consiste nos cinco elementos a seguir: computação, rede, armazenamento, implantação e software. Em termos gerais, os workflows de ciência de dados de ponta a ponta em GPUs são dez vezes mais rápidos do que em CPUs.

Leia o Blog ›

Data Processing Evolution

RAPIDS Em Toda Parte

O RAPIDS funciona como uma base para um novo ecossistema de ciência de dados de alto desempenho e diminui a barreira de entrada com troca de informações de novas bibliotecas. A integração com frameworks de ciência de dados líderes, como Apache Spark, cuPY, Dask e Numba, além de vários frameworks de deep learning, como PyTorch, TensorFlow e Apache MxNet, ajuda no aumento da adoção do RAPIDS e incentiva a integração com outros frameworks. Você pode encontrar RAPIDS e os frameworks correlatos no catálogo NGC.

Projetos em Destaque
Contribuidores
Adotantes
Código Aberto

O BlazingSQL é um mecanismo SQL distribuído de alto desempenho no Python, esenvolvido com o RAPIDS para grandes conjuntos de dados de ETL em GPUs.

Desenvolvido com o RAPIDS, o NVTabular acelera a engenharia e o pré-processamento de recursos para sistemas de recomendação em GPUs.

Baseado no Streamz, escrito em Python e desenvolvido com o RAPIDS, o cuStreamz acelera o processamento de dados de transmissão em GPUs.

Integrado ao RAPIDS, o Plotly Dash possibilita a análise visual interativa em tempo real de conjuntos de dados de vários gigabytes até mesmo em uma única GPU.

O RAPIDS Accelerator para Apache Spark oferece um conjunto de plug-ins para o Apache Spark que usam as GPUs para acelerar o processamento com os softwares RAPIDS e UCX.

Tecnologia no Núcleo

O RAPIDS conta com primitivos CUDA® para otimização de computação de baixo nível, mas expõe o paralelismo de GPU e a largura de banda de memória alta com interfaces de Python fáceis de usar. O RAPIDS oferece suporte a workflows de ciência de dados de ponta a ponta, desde o carregamento de dados e pré-processamento até machine learning, análise de gráficos e visualização. É um pacote de Python totalmente funcional que pode ser dimensionado para casos de uso empresarial de Big Data.

Carregamento e Pré-Processamento de Dados

Os recursos de carregamento, pré-processamento e ETL do RAPIDS são construídos no Apache Arrow para carregar, unir, agregar, filtrar e manipular dados, tudo em uma API familiar aos cientistas de dados. Os usuários podem esperar acelerações típicas de 10 vezes ou mais.

Saiba Mais ›

Machine Learning

Os algoritmos de machine learning e primitivas matemáticas do RAPIDS seguem uma API conhecida do tipo scikit-learn. Ferramentas populares como XGBoost, Random Forest e muitas outras são suportadas para implantações de single GPU e de grande data center. Para grandes conjuntos de dados, essas implementações baseadas em GPU podem ser concluídas de 10 a 50 vezes mais rápido do que seus equivalentes em CPU.

Saiba Mais ›

Análise Gráfica

Os algoritmos gráficos do RAPIDS, como PageRank, e funções como NetworkX, fazem uso eficiente do grande paralelismo de GPUs para acelerar a análise de grandes gráficos em mais de 1000 vezes. Conheça até 200 milhões de edges em uma única GPU NVIDIA A100 Tensor Core e dimensione para bilhões de edges em clusters NVIDIA DGX ™ A100.

Saiba Mais ›

Visualização

Os recursos de visualização do RAPIDS suportam filtragem cruzada acelerada por GPU. Inspirado na versão JavaScript original, ele permite a filtragem multidimensional interativa e super-rápida de conjuntos de dados tabulares de mais de 100 milhões de linhas.

Saiba Mais ›

Machine Learning to Deep Learning: All on GPU

Integração de Deep Learning

Embora o deep learning seja eficaz em domínios como visão computacional, processamento de linguagem natural e softwares de recomendação, há áreas em que seu uso não é o mais comum. Os problemas de dados tabulares, que consistem em colunas de variáveis categóricas e contínuas, geralmente usam técnicas como XGBoost, gradient boosting ou modelos lineares. O RAPIDS simplifica o pré-processamento de dados tabulares em GPUs e fornece uma transferência perfeita de dados diretamente para qualquer framework que ofereça suporte a DLPack, como PyTorch, TensorFlow e MxNet. Essas integrações abrem novas oportunidades de criação de workflows avançados, mesmo aqueles anteriormente improdutivos, como realimentar novos recursos criados a partir de frameworks de deep learning para algoritmos de machine learning.

Data Centers Modernos para Ciência de Dados

Há cinco ingredientes fundamentais para criar data centers otimizados por AI no meio empresarial. A chave para o design é colocar as GPUs no centro.

Computação

Com um desempenho computacional incrível, os sistemas com GPUs NVIDIA são o principal bloco de construção de computação para data centers de AI. Os sistemas NVIDIA DGX oferecem um desempenho revolucionário de AI e podem substituir, em média, 50 servidores de CPU de soquete duplo. Esse é o primeiro passo para dar aos cientistas de dados as ferramentas mais potentes do setor para a exploração de dados.

Software

Ao ocultar as complexidades de trabalhar com a GPU e os protocolos de comunicação subjacentes na arquitetura do data center, o RAPIDS cria uma maneira simples de fazer ciência de dados. À medida que mais cientistas de dados usam Python e outras linguagens de alto nível, oferecer aceleração sem alteração de código é essencial para melhorar rapidamente o tempo de desenvolvimento.

Redes

O acesso remoto direto à memória (RDMA - Remote Direct Memory Access) em controladores de interface de rede (NICs) NVIDIA Mellanox®, a NCCL2 (Biblioteca de comunicação coletiva da NVIDIA) e o OpenUCX (um framework de comunicação ponto a ponto de código aberto) levaram a enormes melhorias na velocidade de treinamento. Com o RDMA permitindo que as GPUs se comuniquem diretamente entre os nós de até 100 gigabits por segundo (GB/s), elas podem abranger vários nós e operar como se estivessem em um imenso servidor.

Implantação

As empresas estão mudando para os contêineres Kubernetes e Docker para a implantação de pipelines em escala. A combinação de softwares em contêineres com o Kubernetes permite que as empresas alterem as prioridades sobre qual tarefa é a mais importante e adiciona resiliência, confiabilidade e escalabilidade para data centers de AI.

Armazenamento

O GPUDirect® Storage permite que a NVMe e a NVMe over Fabric (NVMe-oF) leiam e gravem dados diretamente na GPU, ignorando a memória da CPU e do sistema. Isso libera a memória da CPU e do sistema para outras tarefas, ao mesmo tempo que permite que cada GPU acesse muito mais dados com uma largura de banda até 50% maior.

Nosso Compromisso com a Ciência de Dados de Código Aberto

A NVIDIA está comprometida em simplificar, unificar e acelerar a ciência de dados para a comunidade de código aberto. Ao otimizar todo o pacote, do hardware ao software, e remover os gargalos da ciência de dados iterativa, a NVIDIA está ajudando os cientistas de dados em todos os lugares a fazer muito mais do que antes e com menos. Isso resulta em mais valor nos recursos mais preciosos para as empresas: seus dados e cientistas de dados. Como o software de código aberto Apache 2.0, o RAPIDS reúne um ecossistema nas GPUs.

Sem potência computacional, os cientistas de dados precisavam ‘enfraquecer’ seus algoritmos para que eles funcionassem rápido o suficiente. Não mais. "As GPUs nos permitem fazer coisas que não podíamos fazer antes.

- Bill Groves, Chief Data Officer, Walmart

Os modelos globais da NASA produzem terabytes de dados. Antes do RAPIDS, você pressionava o botão e esperava seis ou sete horas para obter os resultados. A aceleração do ciclo de treinamento foi uma revolução total para o desenvolvimento dos modelos.

- Dr. John Keller, NASA Goddard Space Flight Center

Com a melhoria de 100 vezes nos tempos de treinamento de modelos e uma economia de 98%, a Capital One vê o RAPIDS.ai e o Dask como as próximas grandes novidades para a ciência de dados e o machine learning.

- Mike McCarty, Diretor de Engenharia de Software, Capital One Center for Machine Learning

- Bill Groves, Chief Data Officer, Walmart

- Dr. John Keller, NASA Goddard Space Flight Center

- Mike McCarty, Diretor de Engenharia de Software, Capital One Center for Machine Learning

Comece Hoje Mesmo

Assista ao Tutorial