Geração de Dados Sintéticos para IA Baseada em Agentes

O treinamento de sistemas especializados baseados em agentes requer conjuntos de dados extensos e de alta qualidade que geralmente são escassos, em silos ou sensíveis. Os dados sintéticos eliminam esse gargalo criando diversos conjuntos de dados em escala para qualquer domínio, acelerando o desenvolvimento de agentes de IA.

Os dados sintéticos podem ajudar a resolver desafios como:

• Escassez de dados: os conjuntos de dados específicos do domínio são normalmente limitados ou indisponíveis.
• Preocupações de segurança: os dados internos geralmente são sensíveis demais para compartilhar externamente.
• Custo e tempo: a coleta e a rotulagem manual de dados são caros, lentos e propensos ao viés.

Requisitos complexos: grandes modelos de linguagem (LLMs) para raciocínio, sistemas multiagentes e assistentes multimodais de IA exigem amplos dados de treinamento para serem úteis e autônomos.

“Até 2026, 75% das empresas usarão IA generativa para criar dados sintéticos de clientes, um aumento em relação a menos de 5% em 2023.”

Gartner®, Mais de 100 Previsões de Dados, Análises e IA até 2030 por Sarah James, Alan D. Duncan, 2 de maio de 2025
GARTNER é uma marca comercial e marca de serviço registrada da Gartner, Inc. e/ou suas afiliadas nos EUA e internacionalmente e é usado aqui com permissão. Todos os direitos reservados.

Os modelos de IA baseada em agentes permitem que os sistemas autônomos raciocinem, planejem e tomem ações orientadas por objetivos em ambientes digitais e reais. Os dados sintéticos baseados em texto são fundamentais para treinar e avaliar esses modelos de forma segura, eficiente e em escala.

A IA generativa pode ser usada para criar dados para conversas de alta qualidade, capturando linguagem específica do domínio, variações de intenção e casos raros edge, superando as limitações das transcrições escassas do mundo real. Ao enriquecer os dados de treinamento com diálogos adaptados, ele melhora a precisão, a adaptabilidade e a capacidade de lidar com interações de múltiplas etapas.

A avaliação e os conjuntos de dados de benchmark direcionados, como pares de perguntas e respostas específicos do domínio, podem ser usados para medir e aprimorar o desempenho do sistema de geração aumentada por recuperação (RAG). A comparação lado a lado de vários modelos no mesmo caso de uso garante uma avaliação consistente e justa e a seleção de modelos informada.

Os domínios de poucos recursos, como linguagens de codificação proprietárias ou linguagens sub-representadas, se beneficiam muito dos dados de texto sintéticos realistas e complexos, aprimorando o raciocínio, a precisão e o desempenho geral dos modelos de IA.

O NeMo Safe Synthesizer cria versões seguras para a privacidade de dados confidenciais com configurações padrão projetadas para atender aos regulamentos de privacidade de dados, como HIPAA e GDPR, fornecendo acesso perfeito a dados médicos sintéticos sem restrições regulatórias ou de privacidade, permitindo o vasto compartilhamento de conhecimento tanto interna quanto externamente.

Projete conjuntos de dados de documentos sintéticos de alta fidelidade para treinamento de modelos de IA em larga escala na validação de formulários fiscais, documentos legais, aprovações de hipotecas e outras aplicações de dados estruturados. 

Configure os modelos que você deseja usar para a Geração de Dados Sintéticos (SDG): conecte e personalize os modelos que impulsionam seus conjuntos de dados sintéticos no NeMo Data Designer. Você pode usar apelidos de modelos para fácil referência e ajustar os parâmetros de inferência para obter a qualidade e o estilo de saída certos de que você precisa.

Configure os conjuntos de dados iniciais que você deseja usar para diversificar seu conjunto de dados: a maneira mais eficaz de gerar dados sintéticos que correspondam ao seu domínio específico é alimentar o processo SDG com seus conjuntos de dados existentes (do mundo real). Ao fornecer dados reais como base, você pode orientar o processo de geração para garantir que os dados sintéticos mantenham os padrões, distribuições e características de seus dados reais.

Configure as colunas que você deseja usar para diversificar seu conjunto de dados: projete a estrutura e o conteúdo de seus conjuntos de dados sintéticos definindo colunas que trabalham juntas para produzir dados realistas e de alta qualidade. As colunas são as bases fundamentais que determinam quais dados você gerará e como eles serão estruturados.

Configure suas colunas geradas por LLM com prompts e saídas estruturadas: projete a estrutura e o conteúdo de seus conjuntos de dados sintéticos definindo colunas que trabalham juntas para produzir dados realistas. As colunas são as bases fundamentais que determinam quais dados você gerará e como eles serão estruturados. O Data Designer fornece recursos poderosos para gerar dados estruturados com esquemas definidos pelo usuário.

Pré-visualize seu conjunto de dados e itere em sua configuração: Gere uma pequena amostra para validação. Refine seu design com base nos resultados da pré-visualização.

Gere dados em escala. Uma vez que seu design atenda aos seus requisitos, você pode escalar para criar um conjunto de dados completo.

Avalie a qualidade de seus dados: garanta a geração de dados sintéticos de alta qualidade com ferramentas abrangentes de validação e avaliação no NeMo Data Designer. Valide o código gerado para verificar se ele está correto e avalie a qualidade geral dos dados usando métricas automatizadas e avaliadores baseados em LLM.