Todos os Setores
Perplexity Melhora o Desempenho de Modelos para Mecanismos de Busca Impulsionados por IA com o NVIDIA NeMo
Objetivo
A Perplexity visa personalizar rapidamente modelos de fronteira para melhorar a precisão e a qualidade dos resultados de busca e otimizá-los para menor latência e alto rendimento para uma melhor experiência do usuário.
Cliente
Perplexity
Caso de Uso
IA Generativa / LLMs
Produtos
NVIDIA NeMo
Navegando pelo Excesso de Informação com a Perplexity
Perplexity é um mecanismo de respostas inovador impulsionado por IA que fornece respostas precisas, confiáveis e em tempo real a qualquer pergunta.
Embora a internet tenha proporcionado acesso a uma grande quantidade de informações e permita que incontáveis perguntas sejam feitas anualmente, a abordagem convencional de busca de informações exige que os usuários vasculhem várias fontes para encontrar e formular os insights de que precisam.
Para resolver essa questão, a Perplexity criou um "mecanismo de respostas", oferecendo uma maneira mais eficiente de obter informações. Quando é feita uma pergunta, o mecanismo de respostas da Perplexity dá uma resposta concisa diretamente, economizando tempo e aprimorando a experiência do usuário, fornecendo informações diretas e relevantes rapidamente.
Toda pesquisa tem uma intenção diferente, e a Perplexity conta com uma rede de grandes modelos de linguagem (LLMs) para gerar resultados fundamentados. Para viabilizar isso, a equipe da Perplexity precisava de ferramentas que pudessem escalar de forma fácil e eficiente o processo de personalização de modelos com técnicas avançadas de ajuste.
Perplexity
Principais Destaques
- A Perplexity está transformando os mecanismos de pesquisa tradicionais com um "mecanismo de respostas" que fornece respostas diretas e concisas, aprimorando a experiência do usuário ao economizar tempo e fornecer informações precisas rapidamente.
- A partir de outubro de 2024, a plataforma processa impressionantes 340 milhões de consultas por mês, e mais de 1.500 empresas integraram a Perplexity a seus workflows, destacando seu valor em contextos profissionais.
- Usando o NVIDIA NeMo™ para treinamento, a equipe da Perplexity desenvolveu uma família de LLMs online proprietários chamada Sonar para gerar respostas atuais e precisas.
Personalização e Flexibilidade
O Perplexity adotou o NVIDIA NeMo, aproveitando sua confiabilidade, flexibilidade e facilidade de uso para criar modelos personalizados para seu mecanismo de respostas on-line. Foram utilizadas várias técnicas avançadas de processamento de dados e alinhamento de modelos apoiadas pelo NeMo:
- Ajuste Fino Supervisionado: as capacidades do NeMo em manipular dados distribuídos em vários nós permitiram que a Perplexity ampliasse seus processos de treinamento com eficiência.
- Otimização Direta de Preferências (DPO): permitiu à equipe da Perplexity aprimorar o desempenho de modelos pré-treinados para alinhá-los às preferências humanas, adaptando os modelos às necessidades dos usuários.
- Otimização Proximal de Políticas (PPO): essa técnica de alinhamento melhorou os resultados de treinamento de modelos para tarefas complexas, como jogar games e controlar robôs, com melhores resultados.
Poucos dias após o lançamento de um novo modelo de código aberto, a equipe tinha um novo modelo do Sonar que apresentava melhorias de 20% em relação ao modelo de base em desempenho de busca.
A Perplexity aplicou ajustes finos em modelos de ponta, como as famílias de modelos Llama e Mistral, e está aproveitando a geração aumentada por recuperação para fornecer respostas precisas e concisas com base nos dados recuperados. Esse nível de personalização permitiu que a Perplexity alcançasse alta precisão e relevância em suas aplicações de IA.
Além disso, a facilidade de uso do NeMo, a ampla gama de arquiteturas de modelos suportadas e o alto rendimento de treinamento permitiram que a equipe da Perplexity experimentasse rapidamente e encontrasse os modelos mais adequados para suas aplicações.
Escalando o Ajuste Fino de LLMs com o NeMo
O NeMo permitiu que a Perplexity escalasse o ajuste fino de LLMs de 0,5 bilhões de parâmetros para mais de 400 bilhões de parâmetros, aproveitando a capacidade de dados distribuídos em larga escala e paralelismo de modelos.
O engenheiro de pesquisa de IA Weihua Hu vem liderando um esforço para melhorar as capacidades de recuperação da Perplexity e afirmou: “O NeMo permite que a Perplexity ajuste rapidamente uma variedade de modelos de incorporação de código aberto. Isso aprimorou muito nosso stack de recuperação e levou a um aumento significativo na qualidade das respostas.”
Weihua também observou: “Conseguimos experimentar várias técnicas de pós-treinamento e encontrar a combinação certa de ajuste fino supervisionado (SFT) e otimização direta de preferências (DPO).”
Ao redefinir como as informações são acessadas, a Perplexity visa transformar a forma como os usuários interagem com a internet, tornando-a mais intuitiva e fácil de usar.
“O NeMo permite que a Perplexity ajuste rapidamente uma variedade de modelos de incorporação abertos. Isso aprimorou muito nosso stack de recuperação e levou a um aumento significativo na qualidade das respostas.”
Weihua Hu,
Engenheiro de Pesquisa em IA