Como começar a usar o NVIDIA NeMo

O NVIDIA NeMo é um pacote de software modular e pronto para empresas, que ajuda a gerenciar o ciclo de vida de agentes de IA (criação, implantação e otimização de sistemas baseados em agentes), desde a curadoria de dados, personalização e avaliação de modelos até a implantação, organização e otimização contínua. Se integra perfeitamente aos ecossistemas e plataformas de IA existentes para criar uma fundação para a criação de agentes de IA, acelerando o caminho para a produção de sistemas baseados em agentes em qualquer ambiente de nuvem, local ou híbrido. Ele é compatível com escalabilidade rápida e criação sem esforço de data flywheels que melhoram continuamente os agentes de IA com as informações mais recentes.

O NeMo está disponível como código aberto e é compatível como parte da IA da NVIDIA Enterprise. Os detalhes de preços e licenciamento podem ser encontrados aqui.

O NeMo pode ser usado para personalizar grandes modelos de linguagem (LLMs), modelos de linguagem visual (VLMs), reconhecimento automático de fala (ASR) e modelos de texto em fala (TTS).

O NVIDIA AI Enterprise inclui o Suporte Padrão Empresarial da NVIDIA. Para obter suporte e serviços adicionais disponíveis, como o Suporte Essencial da NVIDIA, um gerente de conta técnico, treinamento e serviços profissionais, consulte o Guia de Suporte e Serviços Empresariais da NVIDIA.

O NVIDIA NeMo é um framework de IA generativa de código aberto criado para pesquisadores e desenvolvedores que estão procurando controles de ajuste fino e flexibilidade no nível de código, para criar modelos de IA generativa com eficiência em qualquer escala. É compatível com pré-treinamento, pós-treinamento e aprendizagem por reforço de modelos de IA generativa multimodal.

Os microservices NVIDIA NeMo são uma oferta modular pronta para APIs que se estende ao framework NeMo, criada especificamente para permitir que os desenvolvedores personalizem e implantem agentes de IA com facilidade e rapidez em qualquer escala. Ele simplifica o ajuste fino de modelos, a avaliação, a proteção e a geração de dados sintéticos. Eles se integram perfeitamente às plataformas de IA existentes, permitindo que as empresas acelerem o desenvolvimento de agentes de IA personalizados e otimizem-nos continuamente por meio de workflows de dados.

O NeMo Data Designer é um microsserviço criado especificamente para desenvolvedores de IA que fornece uma maneira programática de gerar dados sintéticos por meio de esquemas configuráveis e modelos de geração com IA. Foi projetado para se integrar perfeitamente ao seu workflow de desenvolvimento de IA.

O NeMo Curator é uma biblioteca de código aberto que melhora a precisão de modelos de IA generativa através da curadoria de conjuntos de dados multimodais de alta qualidade. É um conjunto de módulos Python expressos como APIs que fazem uso de Dask, cuDF, cuGraph e Pytorch para otimizar tarefas de curadoria de dados, como download, extração de texto, limpeza, filtragem, deduplicação exata/difusa e classificação de texto para milhares de núcleos de computação.

O NeMo Customizer é um microsserviço escalável de alto desempenho que simplifica a personalização e o alinhamento de LLMs para casos de uso específicos de domínios, usando técnicas avançadas de ajuste fino e aprendizagem por reforço.

O NeMo Auditor faz auditorias de LLMs executando trabalhos de auditoria que investigam o modelo com uma variedade de prompts para identificar vulnerabilidades. Você pode usar os resultados para ajudar a avaliar a segurança do modelo e do sistema.

O NeMo Evaluator é um microsserviço projetado para avaliação rápida e confiável de LLMs e pipelines de RAG personalizadas. Abrange diversos benchmarks com métricas predefinidas, incluindo avaliações humanas e técnicas de LLM-as-a-judge. Vários trabalhos de avaliação podem ser implantados simultaneamente no Kubernetes em plataformas de nuvem preferidas ou data centers por meio de API, permitindo resultados agregados eficientes.

O NeMo RL é uma biblioteca de código aberto, parte do toolkit do framework NeMo, oferecendo algoritmos avançados de aprendizagem por reforço e pós-treinamento para otimizar e alinhar agentes de IA em escala empresarial.

O NeMo Retriever é uma coleção de modelos Nemotron RAG que oferecem precisão 50% melhor, extração de PDF multimodal 15x mais rápida e eficiência de armazenamento 35x melhor, permitindo que as empresas criem pipelines de RAG que fornecem informações de negócios em tempo real. O NeMo Retriever garante a privacidade dos dados e conecta-se perfeitamente a dados proprietários em qualquer forma de armazenamento, capacitando uma recuperação segura.

O kit de ferramentas de código aberto NVIDIA NeMo Agent oferece perfil, avaliação e otimização independentes de frameworks para sistemas de agentes de IA de produção. Captura métricas granulares sobre coordenação entre agentes, eficiência de uso de ferramentas e custos computacionais, permitindo otimizações orientadas por dados por meio da Computação Acelerada da NVIDIA. Pode ser usado para paralelizar workflows lentos, armazenar em cache operações caras e manter a precisão do sistema durante atualizações de modelos. Compatível com o OpenTelemetry e os principais frameworks de agentes, esse kit reduz os gastos com nuvem e fornece informações desde a pequena escala de agentes únicos até as equipes digitais em nível empresarial.

O NVIDIA NIM, parte do IA da NVIDIA Enterprise, é um runtime fácil de usar projetado para acelerar a implantação de IA generativa em empresas. Esse microsserviço versátil suporta um amplo espectro de modelos de IA, desde modelos de código aberto da comunidade até modelos da NVIDIA AI Foundation, além de modelos de IA personalizados. Construído com as bases robustas dos mecanismos de inferência, ele é projetado para aprimorar a inferência de IA em escala, garantindo que as aplicações de IA possam ser implantadas em nuvem, data centers e workstations.

A geração aumentada por recuperação é uma técnica que permite que os LLMs gerem respostas a partir das informações mais recentes, conectando-as à base de conhecimento da empresa. O NeMo trabalha com várias ferramentas de terceiros e da comunidade, incluindo Milvus, Llama Index e LangChain, para extrair trechos relevantes de informações do banco de dados vetorial e inseri-los no LLM para gerar respostas em linguagem natural. Explore a página Chatbot de IA Usando o RAG Workflow para começar a criar chatbots de IA de qualidade, que podem responder com precisão a perguntas sobre os dados da sua empresa.

Os NVIDIA Blueprints são workflows de referência abrangentes criados com bibliotecas de IA da NVIDIA e Omniverse™, SDKs e microsserviços. Cada blueprint inclui código de referência, ferramentas de implantação, guias de personalização e uma arquitetura de referência, acelerando a implantação de soluções de IA, como agentes de IA e gêmeos digitais, desde o protótipo até a produção.

O NVIDIA AI Enterprise é uma plataforma de software end-to-end e nativa em nuvem, que acelera pipelines de ciência de dados e simplifica o desenvolvimento e a implantação de aplicações de IA, incluindo IA generativa, visão computacional, IA para fala e muito mais. Inclui as melhores ferramentas de desenvolvimento do setor, frameworks, modelos pré-treinados, microsserviços para profissionais de IA e recursos de gerenciamento confiáveis para profissionais de TI, a fim de garantir desempenho, estabilidade da API e segurança.