Todos los sectores
Perplexity mejora el rendimiento del modelo para motores de búsqueda impulsados por IA con NVIDIA NeMo
Objetivo
Perplexity tiene como objetivo personalizar rápidamente los modelos más avanzados para mejorar la precisión y la calidad de los resultados de búsqueda y optimizarlos para disfrutar de menores latencia y un mayor rendimiento que mejoran la experiencia de usuario.
Cliente
Perplexity
Caso de uso
IA generativa/LLM
Productos
NVIDIA NeMo
Sortear la sobrecarga informativa gracias a Perplexity
Perplexity es un motor de respuestas innovador impulsado por IA que ofrece respuestas precisas, fiables y en tiempo real a cualquier pregunta.
Para abordar esto, Perplexity ha creado un "motor de respuestas" que ofrece una forma más eficiente de obtener información. Cuando se le formula una pregunta, el motor de respuestas de Perplexity ofrece una respuesta concisa directamente, lo que ahorra tiempo y mejora la experiencia del usuario con información directa y relevante de forma rápida.
Cada búsqueda tiene una intención diferente, y Perplexity se basa en una red de modelos lingüísticos de gran tamaño (LLM) para generar resultados bien fundamentados. Para permitir esto, el equipo de Perplexity necesitaba herramientas que pudieran escalar de forma fácil y eficiente el proceso de personalización del modelo con técnicas de ajuste avanzadas.
Perplexity
Principales conclusiones
- Perplexity rompe con los motores de búsqueda tradicionales con un "motor de respuestas" que ofrece respuestas directas y concisas, mejora la experiencia del usuario al ahorrar tiempo y ofrecer información precisa de forma rápida.
- A fecha de octubre de 2024, la plataforma procesa la impresionante cantidad de 340 millones de preguntas al mes, y más de 1500 organizaciones han integrado Perplexity en sus flujos de trabajo, destacando su valor en entornos profesionales.
- Usando NVIDIA NeMo™ para su entrenamiento, Perplexity ha desarrollado una familia de LLM en línea patentados llamados Sonar para ofrecer respuestas actuales y objetivas.
Personalización y flexibilidad
Perplexity ha adoptado NVIDIA NeMo aprovechado su fiabilidad, flexibilidad y facilidad de uso para crear modelos personalizados para su motor de respuestas en línea. Utilizaron varias técnicas de procesamiento de datos y alineación de modelos avanzadas con el apoyo de NeMo:
- Ajuste supervisado: las capacidades de NeMo para gestionar datos distribuidos en múltiples nodos permitieron a Perplexity escalar sus procesos de entrenamiento de manera eficiente.
- Optimización de preferencias directas (DPO): esto permitió a Perplexity mejorar el rendimiento de los modelos preentrenados para alinearse con las preferencias humanas, adaptando los modelos a las necesidades de los usuarios.
- Optimización de políticas proximales (PPO): esta técnica de alineación mejoró los resultados de los modelos de entrenamiento para tareas complejas, como jugar a juegos y controlar robots, con resultados mejorados.
A los pocos días del lanzamiento de una nueva versión de código abierto el equipo ya disponía de un nuevo modelo de Sonar que mejoraba en un 20% el modelo base de búsqueda.
Perplexity ha aplicado ajustes a los modelos de vanguardia, incluyendo las familias de modelos Llama y Mistral, y aprovecha la generación aumentada por recuperación para ofrecer respuestas breves y precisas basadas en los datos recuperados. Este nivel de personalización ha permitido a Perplexity lograr una alta precisión y relevancia en sus aplicaciones de IA.
Además, la facilidad de uso de NeMo, la amplitud de las arquitecturas de modelos admitidas y el alto rendimiento de entrenamiento han permitido a Perplexity experimentar rápidamente y encontrar los modelos mejor ajustados para sus aplicaciones.
Escalado de la optimización de LLM con NeMo
NeMo permitió a Perplexity escalar la optimización de los LLM desde los 500 millones de parámetros a más de 400 000 millones al tiempo que aprovechaba sus datos distribuidos a gran escala y el paralelismo de modelos.
Weihua también señaló: “Pudimos experimentar con varias técnicas posteriores al entrenamiento y encontrar la mezcla adecuada de ajuste supervisado (SFT) y optimización de preferencias directas (DPO)”.
Al redefinir cómo se accede a la información, Perplexity tiene como objetivo transformar la forma en que los usuarios interactúan con la web, haciéndola más intuitiva y fácil de usar.
"NeMo permite a Perplexity ajustar rápidamente diversos modelos de incrustación de código abierto. Esto mejoró enormemente nuestra pila de recuperación y dio lugar a un aumento significativo en la calidad de la respuesta".
Weihua Hu,
ingeniero de investigación de IA