Aproveite o poder das GPUs para acelerar seus workflows de ciência de dados, machine learning e AI.
Execute workflows de ciência de dados inteiros em computação de GPU de alta velocidade e paralelize o carregamento e a manipulação de dados, junto com o machine learning para obter pipelines de ciência de dados de ponta a ponta 50 vezes mais rápidos.
Por Que o RAPIDS?
A ciência de dados e o machine learning são os maiores segmentos computacionais do mundo. As melhorias modestas na precisão dos modelos analíticos se traduzem em bilhões para o resultado final. Para construir os melhores modelos, os cientistas de dados se esforçam para treinar, avaliar, iterar e reciclar para obter resultados altamente precisos e modelos de desempenho. Com RAPIDS™, os processos que levaram dias levam minutos, tornando mais fácil e rápido construir e implantar modelos geradores de valor. Com o NVIDIA LaunchPad você pode por a mão na massa nos laboratórios RAPIDS, e com o NVIDIA AI Enterprise podemos apoiar sua empresa em todos os aspectos de seus projetos de AI.
Os workflows têm muitas iterações de transformação de dados brutos em dados de treinamento, que são alimentados em muitas combinações de algoritmos, que passam por ajuste de hiperparâmetros para encontrar as combinações certas de modelos, parâmetros de modelo e recursos de dados para obter precisão e desempenho ideais.
Construindo um Ecossistema de Alto Desempenho
RAPIDS é um conjunto de bibliotecas de software de código aberto e APIs para executar pipelines de ciência de dados inteiramente em GPUs, e pode reduzir o tempo de treinamento de dias para minutos. Desenvolvido com base no NVIDIA® CUDA-X AI™, o RAPIDS une anos de desenvolvimento em gráficos, machine learning, deep learning, computação de alto desempenho (HPC) e muito mais.
Tempo de Execução Mais Rápido
Com a Data Science, mais computação permite que você obtenha insights mais rapidamente. O RAPIDS aproveita o NVIDIA CUDA® sob o capô para acelerar seus workflows, executando todo o pipeline de treinamento de ciência de dados em GPUs. Isto pode reduzir o tempo de treinamento de seu modelo de dias para minutos.
Use as Mesmas Ferramentas
Ao ocultar a complexidade de se trabalhar com GPU e, até mesmo, os protocolos de comunicação subjacentes na arquitetura do data center, o RAPIDS cria uma maneira simples de fazer ciência de dados. À medida que mais cientistas de dados usam Python e outras linguagens de alto nível, oferecer aceleração sem alteração de código é essencial para melhorar rapidamente o tempo de desenvolvimento
Execute em Qualquer Lugar e em Escala
O RAPIDS pode ser executado em qualquer lugar, no cloud ou localmente. Você pode dimensionar de uma workstation para servidores de várias GPUs e clusters de vários nós com facilidade, assim como implantá-lo na produção com o Dask, Spark, MLFlow e Kubernetes.
Ciência de Dados Pronta para Empresas
O acesso a um suporte confiável é muitas vezes vital para organizações que utilizam a ciência dos dados para obter insights importantes. O Suporte Global NVIDIA Enterprise está disponível com o NVIDIA AI Enterprise, um conjunto de software AI de ponta a ponta, e inclui tempos de resposta garantidos, notificações de segurança prioritárias, atualizações regulares e acesso aos especialistas em AI da NVIDIA.
Desempenho Extremamente Rápido em Big Data
Os resultados mostram que as GPUs fornecem custos e economia de tempo significativos para problemas analíticos de Big Data de pequena e grande escala. Usando APIs conehcidos como Pandas e Dask, em escala de 10 terabytes, o RAPIDS tem desempenho até 20 vezes mais rápido em GPUs do que em CPUs. Usando apenas 16 NVIDIA DGX A100s para atingir o desempenho de 350 servidores baseados em CPU, a solução da NVIDIA é 7 vezes mais econômica, ao mesmo tempo que oferece desempenho de nível HPC.
Acesso Mais Rápido aos Dados, Menos Movimento de Dados
As tarefas de processamento de dados comuns têm muitas etapas (pipelines de dados), que o Hadoop não consegue manipular com eficiência. O Apache Spark resolveu esse problema mantendo todos os dados na memória do sistema, o que permitiu canais de dados mais flexíveis e complexos, mas introduziu novos gargalos. A análise de até mesmo algumas centenas de gigabytes (GB) de dados pode levar horas ou dias em clusters do Spark com centenas de nós de CPU. Para aproveitar o verdadeiro potencial da ciência de dados, as GPUs precisam estar no centro do design do data center, que consiste nos cinco elementos a seguir: computação, rede, armazenamento, implantação e software. Em termos gerais, os workflows de ciência de dados de ponta a ponta em GPUs são dez vezes mais rápidos do que em CPUs.
Data Processing Evolution
RAPIDS Em Toda Parte
O RAPIDS funciona como uma base para um novo ecossistema de ciência de dados de alto desempenho e diminui a barreira de entrada com troca de informações de novas bibliotecas. A integração com frameworks de ciência de dados líderes, como Apache Spark, cuPY, Dask e Numba, além de vários frameworks de deep learning, como PyTorch, TensorFlow e Apache MxNet, ajuda no aumento da adoção do RAPIDS e incentiva a integração com outros frameworks. Você pode encontrar RAPIDS e os frameworks correlatos no catálogo NGC.
- Projetos em Destaque
- Contribuidores
- Adotantes
- Código Aberto
Integrado ao RAPIDS, o Plotly Dash possibilita a análise visual interativa em tempo real de conjuntos de dados de vários gigabytes até mesmo em uma única GPU.
O RAPIDS Accelerator para Apache Spark oferece um conjunto de plug-ins para o Apache Spark que usam as GPUs para acelerar o processamento com os softwares RAPIDS e UCX.
Tecnologia no Núcleo
O RAPIDS conta com primitivos CUDA® para otimização de computação de baixo nível, mas expõe o paralelismo de GPU e a largura de banda de memória alta com interfaces de Python fáceis de usar. O RAPIDS oferece suporte a workflows de ciência de dados de ponta a ponta, desde o carregamento de dados e pré-processamento até machine learning, análise de gráficos e visualização. É um pacote de Python totalmente funcional que pode ser dimensionado para casos de uso empresarial de Big Data.
Carregamento e Pré-Processamento de Dados
Os recursos de carregamento, pré-processamento e ETL do RAPIDS são construídos no Apache Arrow para carregar, unir, agregar, filtrar e manipular dados, tudo em uma API familiar aos cientistas de dados. Os usuários podem esperar acelerações típicas de 10 vezes ou mais.
Machine Learning
Os algoritmos de machine learning e primitivas matemáticas do RAPIDS seguem uma API conhecida do tipo scikit-learn. Ferramentas populares como XGBoost, Random Forest e muitas outras são suportadas para implantações de single GPU e de grande data center. Para grandes conjuntos de dados, essas implementações baseadas em GPU podem ser concluídas de 10 a 50 vezes mais rápido do que seus equivalentes em CPU.
Análise Gráfica
Os algoritmos gráficos do RAPIDS, como PageRank, e funções como NetworkX, fazem uso eficiente do grande paralelismo de GPUs para acelerar a análise de grandes gráficos em mais de 1000 vezes. Conheça até 200 milhões de edges em uma única GPU NVIDIA A100 Tensor Core e dimensione para bilhões de edges em clusters NVIDIA DGX ™ A100.
Visualização
Os recursos de visualização do RAPIDS suportam filtragem cruzada acelerada por GPU. Inspirado na versão JavaScript original, ele permite a filtragem multidimensional interativa e super-rápida de conjuntos de dados tabulares de mais de 100 milhões de linhas.
Integração de Deep Learning
Embora o deep learning seja eficaz em domínios como visão computacional, processamento de linguagem natural e softwares de recomendação, há áreas em que seu uso não é o mais comum. Os problemas de dados tabulares, que consistem em colunas de variáveis categóricas e contínuas, geralmente usam técnicas como XGBoost, gradient boosting ou modelos lineares. O RAPIDS simplifica o pré-processamento de dados tabulares em GPUs e fornece uma transferência perfeita de dados diretamente para qualquer framework que ofereça suporte a DLPack, como PyTorch, TensorFlow e MxNet. Essas integrações abrem novas oportunidades de criação de workflows avançados, mesmo aqueles anteriormente improdutivos, como realimentar novos recursos criados a partir de frameworks de deep learning para algoritmos de machine learning.
Data Centers Modernos para Ciência de Dados
Há cinco ingredientes fundamentais para criar data centers otimizados por AI no meio empresarial. A chave para o design é colocar as GPUs no centro.
Computação
Com um desempenho computacional incrível, os sistemas com GPUs NVIDIA são o principal bloco de construção de computação para data centers de AI. Os sistemas NVIDIA DGX oferecem um desempenho revolucionário de AI e podem substituir, em média, 50 servidores de CPU de soquete duplo. Esse é o primeiro passo para dar aos cientistas de dados as ferramentas mais potentes do setor para a exploração de dados.
Software
Ao ocultar as complexidades de trabalhar com a GPU e os protocolos de comunicação subjacentes na arquitetura do data center, o RAPIDS cria uma maneira simples de fazer ciência de dados. À medida que mais cientistas de dados usam Python e outras linguagens de alto nível, oferecer aceleração sem alteração de código é essencial para melhorar rapidamente o tempo de desenvolvimento.
Redes
O acesso remoto direto à memória (RDMA - Remote Direct Memory Access) em controladores de interface de rede (NICs) NVIDIA Mellanox®, a NCCL2 (Biblioteca de comunicação coletiva da NVIDIA) e o OpenUCX (um framework de comunicação ponto a ponto de código aberto) levaram a enormes melhorias na velocidade de treinamento. Com o RDMA permitindo que as GPUs se comuniquem diretamente entre os nós de até 100 gigabits por segundo (GB/s), elas podem abranger vários nós e operar como se estivessem em um imenso servidor.
Implantação
As empresas estão mudando para os contêineres Kubernetes e Docker para a implantação de pipelines em escala. A combinação de softwares em contêineres com o Kubernetes permite que as empresas alterem as prioridades sobre qual tarefa é a mais importante e adiciona resiliência, confiabilidade e escalabilidade para data centers de AI.
Armazenamento
O GPUDirect® Storage permite que a NVMe e a NVMe over Fabric (NVMe-oF) leiam e gravem dados diretamente na GPU, ignorando a memória da CPU e do sistema. Isso libera a memória da CPU e do sistema para outras tarefas, ao mesmo tempo que permite que cada GPU acesse muito mais dados com uma largura de banda até 50% maior.
Nosso Compromisso com a Ciência de Dados de Código Aberto
A NVIDIA está comprometida em simplificar, unificar e acelerar a ciência de dados para a comunidade de código aberto. Ao otimizar todo o pacote, do hardware ao software, e remover os gargalos da ciência de dados iterativa, a NVIDIA está ajudando os cientistas de dados em todos os lugares a fazer muito mais do que antes e com menos. Isso resulta em mais valor nos recursos mais preciosos para as empresas: seus dados e cientistas de dados. Como o software de código aberto Apache 2.0, o RAPIDS reúne um ecossistema nas GPUs.