Alle Branchen
Perplexity verbessert Modellleistung für KI-gestützte Suchmaschinen mit NVIDIA NeMo
Ziel
Perplexity zielt auf die schnelle Anpassung von „Frontier“-Modellen ab, um die Genauigkeit und die Qualität der Suchergebnisse zu optimieren und das Benutzererlebnis durch geringere Latenz und einen hohen Durchsatz zu verbessern.
Kunde
Perplexity
Anwendungsfall
Generative KI/LLMs
Produkte
NVIDIA NeMo
Mit Perplexity durch die Informationsüberflutung steuern
Perplexity ist eine bahnbrechende KI-gestützte Antwortmaschine, die auf jede Frage genaue, vertrauenswürdige Antworten in Echtzeit liefert.
Um dieses Problem zu beheben, hat Perplexity eine „Antwortmaschine“ entwickelt, mit der Informationen auf effizientere Weise gewonnen werden können. Wenn eine Frage gestellt wird, liefert die Antwortmaschine von Perplexity direkt eine präzise Antwort. Die schnelle Bereitstellung direkter und relevanter Informationen spart Zeit und verbessert das Benutzererlebnis.
Jede Suche hat eine andere Zielsetztung, und Perplexity stützt sich auf ein Netzwerk großer Sprachmodelle (LLMs), um fundierte Ergebnisse zu generieren. Hierzu benötigte das Perplexity-Team Tools, die den Modellanpassungsprozess mit fortgeschrittenen Optimierungstechniken einfach und effizient skalieren konnten.
Perplexity
Das Wichtigste im Überblick
- Perplexity sprengt die Möglichkeiten herkömmlicher Suchmaschinen mit einer „Antwortmaschine“, die direkte, präzise Antworten liefert und das Benutzererlebnis durch Zeitersparnis und schnelle Bereitstellung genauer Informationen verbessert.
- Seit Oktober 2024 verarbeitet die Plattform beeindruckende 340 Millionen Abfragen pro Monat, und über 1500 Unternehmen haben Perplexity in ihre Arbeitsabläufe integriert, was die Bedeutung der Plattform im professionellen Umfeld unterstreicht.
- Mithilfe von NVIDIA NeMo™ für das Training hat Perplexity eine Familie von proprietären Online-LLMs namens Sonar entwickelt, um aktuelle und sachliche Antworten zu liefern.
Anpassung und Flexibilität
Perplexity nutzt die Zuverlässigkeit, Flexibilität und Benutzerfreundlichkeit von NVIDIA NeMo, um eigene Modelle für seine Online-Antwortmaschine zu entwickeln. Eingesetzt wurden mehrere von Nemo unterstützte Techniken der Datenverarbeitung und fortgeschrittenen Modellanpassung:
- Überwachte Optimierung: Die Fähigkeiten von NeMo bei der Verarbeitung von Daten, die über mehrere Knoten verteilt sind, ermöglichten Perplexity eine effiziente Skalierung der Trainingsprozesse.
- Direct Preference Optimization (DPO): Mit DPO konnte Perplexity die Leistung vortrainierter Modelle verbessern, um sich besser an menschliche Präferenzen anzupassen und die Modelle auf die Bedürfnisse der Benutzer zuzuschneiden.
- Proximal Policy Optimization (PPO): Mit dieser Optimierungstechnik konnten die Ergebnisse beim Trainieren von Modellen für komplexe Aufgaben wie Spiele und die Steuerung von Robotern verbessert werden.
Innerhalb weniger Tage nach der Veröffentlichung einer neuen Open-Source-Version verfügte das Team über ein neues Sonar-Modell, das um 20% gegenüber dem Ausgangsmodell für die Suche verbessert wurde.
Perplexity optimierte die Frontier-Modelle mit den Modellfamilien Llama und Mistral und setzt Retrieval-Augmented Generation ein, um präzise, prägnante Antworten auf der Grundlage der abgerufenen Daten zu liefern. Mit diesem Grad der Anpassung konnte Perplexity eine hohe Genauigkeit und Relevanz für seine KI-Anwendungen erzielen.
Die Benutzerfreundlichkeit von NeMo, die Vielfalt der unterstützten Modellarchitekturen und der hohe Trainingsdurchsatz ermöglichten es Perplexity, schnell zu experimentieren und die am besten optimierten Modelle für seine Anwendungen zu finden.
Skalierung der Feinabstimmung von LLMs mit NeMo
Mit NeMo konnte Perplexity die Optimierung von LLMs von 0,5 Mrd. Parametern auf über 400 Mrd. Parameter skalieren und sich dabei die Vorteile seiner groß angelegten verteilten Daten- und Modellparallelität zunutze machen.
KI-Forschungsingenieur Weihua Hu war federführend bei der Verbesserung der Abruffunktionen von Perplexity und kommentierte: „Mit NeMo kann Perplexity schnell eine Vielzahl von Open-Source-Einbettungsmodellen optimieren. Dadurch konnten wir unseren Retrieval-Stack erheblich verbessern und die Antwortqualität deutlich steigern.“
Weihua stellte auch fest: „Wir konnten mit verschiedenen Nachtrainingstechniken experimentieren und die richtige Mischung aus überwachter Feinabstimmung (Supervised Fine-Tuning, SFT) und direkter Präferenzoptimierung (DPO) finden.“
Durch die Neudefinition des Zugangs zu Informationen will Perplexity die Art und Weise, wie Benutzer mit dem Web interagieren, verändern und den Umgang intuitiver und benutzerfreundlicher gestalten.
„Mit NeMo kann Perplexity schnell eine Vielzahl von Open-Source-Einbettungsmodellen optimieren. Dadurch konnten wir unseren Retrieval-Stack erheblich verbessern und die Antwortqualität deutlich steigern.“
Weihua Hu,
KI-Forschungsingenieur