Toutes les industries
Perplexity améliore les performances des modèles de moteurs de recherche pilotés par l'IA grâce à NVIDIA NeMo
Objectif
Perplexity vise à personnaliser rapidement les modèles pionniers afin d'améliorer la précision et la qualité des résultats de recherche et de les optimiser pour réduire la latence et accroître le débit afin d'améliorer l'expérience utilisateur.
Client
Perplexity
Utilisation
IA générative/LLM
Produits
NVIDIA NeMo
Naviguer dans la surcharge d'informations grâce à Perplexity
Perplexity est un moteur de réponse révolutionnaire piloté par l'IA qui fournit des réponses précises, fiables et en temps réel à n'importe quelle question.
Bien qu'Internet ait permis d'accéder à une multitude d'informations et de poser d'innombrables questions chaque année, l'approche traditionnelle de la recherche d'informations impose aux utilisateurs de passer au crible de nombreuses sources pour trouver et formuler les informations dont ils ont besoin.
Pour remédier à cette situation, Perplexity a créé un "moteur de réponse", qui offre un moyen plus efficace d'obtenir des informations. Lorsqu'on lui pose une question, le moteur de réponse de Perplexity fournit directement une réponse concise, ce qui permet de gagner du temps et d'améliorer l'expérience de l'utilisateur en lui fournissant rapidement des informations directes et pertinentes.
Chaque recherche a une intention différente, et Perplexity s'appuie sur un réseau de grands modèles de langage (LLM) pour générer des résultats pertinents. Pour ce faire, l'équipe de Perplexity avait besoin d'outils capables d'adapter facilement et efficacement le processus de personnalisation du modèle à l'aide de techniques de réglage avancées.
Perplexity
Principales leçons
- Perplexity perturbe les moteurs de recherche traditionnels grâce à un "moteur de réponse" qui fournit des réponses directes et concises, ce qui améliore l'expérience utilisateur en lui faisant gagner du temps et en fournissant rapidement des informations précises.
- En octobre 2024, la plateforme traitait 340 millions de requêtes par mois, et plus de 1 500 entreprises avaient intégré Perplexity à leurs workflows, ce qui souligne sa valeur dans les environnements professionnels.
- En utilisant NVIDIA NeMo™ pour l'entraînement, Perplexity a développé une famille de LLM exclusifs en ligne nommée Sonar afin de fournir des réponses à jour et factuelles.
Personnalisation et flexibilité
Perplexity a adopté NVIDIA NeMo, en tirant parti de sa fiabilité, de sa flexibilité et de sa facilité d'utilisation pour créer des modèles personnalisés pour son moteur de réponse en ligne. Son équipe a utilisé plusieurs techniques de traitement de données et d'alignement de modèles avancées prises en charge par NeMo:
- Peaufinage supervisé : les capacités de NeMo à gérer des données distribuées sur plusieurs nœuds ont permis à Perplexity d'adapter efficacement ses processus d'entraînement.
- Optimisation directe des préférences (DPO) : cela a permis à Perplexity d'améliorer les performances des modèles pré-entraînés pour les aligner sur les préférences humaines, en adaptant les modèles aux besoins des utilisateurs.
- Optimisation de la politique proximale (PPO) : cette technique d'alignement a permis d'améliorer les résultats de l'entraînement des modèles à des tâches complexes, comme les jeux et le contrôle des robots.
Quelques jours après la sortie d'une nouvelle version open source, l'équipe disposait d'un nouveau modèle Sonar amélioré de 20% par rapport au modèle de base sur la recherche.
Perplexity a peaufiné les modèles pionniers, y compris les familles de modèles Llama et Mistral, et tire parti de la génération augmentée par la recherche pour fournir des réponses précises et concises basées sur les données récupérées. Ce niveau de personnalisation a permis à Perplexity d'atteindre un niveau élevé de précision et de pertinence dans ses applications d'IA.
En outre, la facilité d'utilisation de NeMo, le grand nombre d'architectures de modèles prises en charge et son débit d'entraînement élevé ont permis à Perplexity d'expérimenter rapidement et de trouver les modèles les mieux adaptés à ses applications.
Mise à l'échelle du peaufinage des LLM avec NeMo
NeMo a permis à Perplexity de faire passer le peaufinage à grande échelle des LLM de 0,5 milliard de paramètres à plus de 400 milliards de paramètres, tout en tirant parti de ses données distribuées à grande échelle et du parallélisme de ses modèles.
Weihua Hu ajoute également : "Nous avons pu expérimenter plusieurs techniques de post-entraînement et trouver la bonne combinaison de peaufinage supervisé (SFT) et d'optimisation directe des préférences (DPO)".
En redéfinissant le mode d'accès à l'information, Perplexity vise à transformer la manière dont les utilisateurs interagissent avec le Web, en le rendant plus intuitif et plus convivial.
"NeMo permet à Perplexity de peaufiner rapidement de nombreux modèles d'intégration open-source. Cela a grandement enrichi notre pile de récupération et a permis d'améliorer considérablement la qualité des réponses."
Weihua Hu,
ingénieur de recherche en IA