NVIDIA NeMo
Framework

Construir, personalizar e implantar modelos generativos de AI.

What is the NVIDIA NeMo Framework?

O framework NVIDIA NeMo™, parte da plataforma NVIDIA AI, é um framework empresarial de ponta a ponta, nativo do cloud, para construir, personalizar e implantar modelos de IA generativa com bilhões de parâmetros.

O framework NeMo fornece um workflow acelerado para treinamento com técnicas de paralelismo 3D, uma escolha de várias técnicas de customização e uma inferência otimizada em escala de modelos em larga escala para aplicações de linguagem e imagem, com configurações multi-GPU e multi-nó. NeMo torna o desenvolvimento de modelos de IA generativa fácil, econômico e rápido para as empresas.

Como a Estrutura NeMo constrói, treina e implementa grandes modelos de linguagem.

Apoio através das modalidades

Os frameworks NeMo suportam o desenvolvimento de modelos de foundation texto-para-texto, texto-para-imagem, e imagem-para-imagem.

Língua

  • BERT
  • GPT-3
  • T5
  • T5-MoE
  • Inform

Imagem

  •  Stable Diffusion v1.5
  •  VisionTransformers (ViT) 
  •  CLIP
  •  Instruct-Pix2Pix

Explore os benefícios

Execute no Cloud e nas instalações

Treinar e implantar modelos de fundação de qualquer tamanho em qualquer infra-estrutura de GPU. Suportado em todos os sistemas NVIDIA DGX™, NVIDIA DGX Cloud™, Microsoft Azure, Oracle Cloud Infrastructure, e Amazon Web Services. 

Fácil de usar

Estrutura nativa nublada com todas as dependências pré-embaladas e instaladas com recibos validados para treinamento de linguagem e modelos de AI generativa de imagem para convergência e implantação para inferência.

Totalmente Flexível

Uma abordagem de código aberto que oferece total flexibilidade em toda a cadeia, do processamento de dados, ao treinamento, à inferência de modelos de AI generativa.

Execute no Cloud e nas instalações

Treinar e implantar modelos de fundação de qualquer tamanho em qualquer infra-estrutura de GPU. Suportado em todos os sistemas NVIDIA DGX™, NVIDIA DGX Cloud™, Microsoft Azure, Oracle Cloud Infrastructure, e Amazon Web Services. 

Personalizar

Oferece ferramentas para personalizar modelos de fundação para hiperpersonalização empresarial.

Grau empresarial

Testada e verificada em containers construídos para empresas.

Experimente o NeMo Framework através de um Laboratório Mãos Livres no NVIDIA LaunchPad

Principais características do produto

Técnicas de treinamento de última geração

A estrutura NeMo proporciona altos níveis de eficiência no treinamento, tornando possível o treinamento de modelos de fundação em larga escala, utilizando técnicas de paralelismo 3D, como por exemplo:

  • Paralelismo de tensores para modelos em escala dentro de nós
  • DParalelismo de dados e pipeline para escalar dados e modelos em milhares de GPUs
  • Paralelismo seqüencial para distribuir memória de ativação entre dispositivos tensoriais paralelos

Além disso, a recomputação de ativação seletiva otimiza a recomputação e o uso de memória entre dispositivos tensores paralelos durante a retropropagação.

Ferramentas de personalização

A estrutura NeMo torna a AI empresarial prática, oferecendo ferramentas para isso:

  • Definir foco e guardrails: : Definir guardrails e o domínio operacional para modelos empresariais hiper-personalizados para evitar que os LLMs se desviem para domínios indesejados ou digam coisas inapropriadas, através de técnicas de ajuste fino, aprendizado imediato e adaptação.
  • Incluir conhecimentos específicos do domínio: Codifique e incorpore sua IA com as informações em tempo real de sua empresa para fornecer as últimas respostas, usando o NVIDIA Inform.
  • Incluir habilidades funcionais: Adicionar habilidades especializadas para resolver problemas de clientes e negócios. Obtenha melhores respostas, fornecendo contexto para casos de uso hiperpessoal, usando técnicas de aprendizado imediato.
  • Melhorar continuamente o modelo: Reforçar o aprendizado com técnicas de feedback humano (RLHF) permitem que seu modelo empresarial fique mais inteligente com o tempo, alinhado com as intenções humanas.

Inferência otimizada

Implantar modelos generativos de IA para inferência usando NVIDIA Triton Inference Server™. Com as poderosas otimizações da FasterTransformer, você pode obter precisão de última geração, latência e desempenho de inferência de produção em configurações de um único GPU, multi-GPU e multi-nó.

Pré-processamento Abrangente

Traga seu próprio conjunto de dados e transforme os dados em fichas em um formato digerível. NeMo inclui capacidades abrangentes de pré-processamento para filtragem de dados, deduplicação, mistura e formatação em conjuntos de dados de idiomas, em pilhas e C4 multilíngüe (mC4). Estes ajudam pesquisadores e engenheiros a economizar meses de desenvolvimento e tempo de computação, permitindo que eles se concentrem na construção de aplicações.

Receitas e ferramentas fáceis de usar

A estrutura NeMo torna possível a IA generativa desde o primeiro dia com scripts pré-embalados, exemplos de referência e documentação em todo o gasoduto.

A construção de modelos de fundação também é facilitada por uma ferramenta auto-configuradora, que busca automaticamente as melhores configurações de hiperparâmetros para otimizar o treinamento e a inferência de qualquer configuração, treinamento ou restrições de implantação multi-GPU.

Personalizar e usar facilmente modelos generativos de AI usando NVIDIA NeMo Language and Image Services

Serviço NeMo

Serviço no cloud para hiper-personalização empresarial e implementação em escala de modelos inteligentes de linguagem de grande porte.

Serviço Picasso

Serviço de cloud acelerada para empresas que precisam de modelos de IA generativos personalizados para criar imagens de alta resolução, fotorealistas, vídeos e conteúdo 3D.

Clientes Acelerando Aplicações Generativas de IA e LLM com NVIDIA NeMo Framework

Acelerar as aplicações industriais com LLMs

A AI Suécia acelerou as aplicações da indústria LLM ao tornar o poder de um modelo de 100 bilhões de parâmetros para idiomas regionais facilmente acessível ao ecossistema nórdico. A AI Sweden está digitalizando os registros históricos da Suécia e construindo modelos de linguagem a partir destes dados não estruturados que podem ser comercializados em aplicações empresariais.

Image Courtesy of Korea Telecom

Criando novas experiências de clientes com LLMs

A principal operadora móvel da Coréia do Sul constrói LLMs de um bilhão de parâmetros treinados com a plataforma NVIDIA DGX SuperPOD e a estrutura NeMo para alimentar alto-falantes inteligentes e call centers de clientes.

Discover More Resources

Implementando um modelo 1.3B GPT-3 com NVIDIA NeMo Framework

Saiba como baixar, otimizar e implantar um modelo GPT-3 de 1,3 bilhões de parâmetros com estrutura NeMo e NVIDIA Triton Inference Server.. 

Treinamento eficiente em escala e implementação de LLMs com o NeMo Framework

Aprenda como pré-processar dados em um ambiente de múltiplos nós, selecionar automaticamente os melhores hiperparâmetros para minimizar o tempo de treinamento para múltiplas configurações GPT-3 e T5, treinar o modelo em escala e implantar o modelo em uma configuração de produção de múltiplos nós com um conjunto de scripts fáceis de usar

Laboratório Mãos Livres no NVIDIA LaunchPad

Atrapalhe a jornada LLM de sua empresa usando configurações de hiperparâmetros pré-definidos para os modelos GPT-3. Aprenda como treinar um modelo de PNL em larga escala com a estrutura NeMo.

Comece agora com a NVIDIA NeMo Framework