Shell trainiert einen benutzerdefinierten KI-Chatbot mit NVIDIA NeMo, um die Betriebsabläufe zu verbessern

Um eine höhere Genauigkeit für sein fachspezifisches LLM für die Energiebranche zu erzielen, konzentrierte sich Shell auf die Kuratierung hochwertiger Trainingsdaten als Grundlage seiner KI-Lösung. Der Entwicklungsprozess begann mit der Auswahl und Vorverarbeitung eines riesigen Datensatzes an chemischen Dokumenten. Ursprünglich hatte Shell Zugriff auf 300.000 technische Dokumente, die im Laufe von Jahrzehnten gesammelt wurden. Diese Dokumente decken verschiedene technische Bereiche ab und wurden mit dem NVIDIA NeMo Curator zu 154.000 hochwertigen Dokumenten zusammengestellt.

Der Kurationsprozess umfasste mehrere Schritte, einschließlich der genauen und unscharfen Deduplizierung, um wiederholte oder nahezu doppelte Inhalte zu entfernen. Shell wandte außerdem Qualitätsfilter an, entfernte Dokumente mit unzureichenden Informationen oder schlechter Formatierung und nutzte die Spracherkennung, um nicht-englische Inhalte auszuschließen. Darüber hinaus wurde die Domänenklassifizierung verwendet, um Dokumente für die Entwicklung fachspezifischer Benchmarks auszuwählen.

Sobald der Datensatz kuratiert war, ging Shell über die Retrieval-Augmented Generation (RAG) hinaus und verwendete das NVIDIA NeMo Framework, um ein domain-adaptives Pre-Training (DAPT) und eine überwachte Feinabstimmung (SFT) durchzuführen, um das domänenspezifische Wissen und die Genauigkeit des Modells zu verbessern. DAPT ermöglichte es dem Modell, den einzigartigen Kontext und die Terminologie der chemischen Industrie wirklich zu verstehen. Gleichzeitig verfeinerte SFT die Leistung des Modells weiter, indem es mit annotierten Daten trainiert wurde, die speziell auf die Anforderungen von Shell zugeschnitten waren. Unter Einsatz der Parallelisierungstechniken, die über NeMo verfügbar sind, beschleunigte Shell die Zeit für das Modelltraining (mehrere Millionen GPU-Stunden) um 20 % im Vergleich zu anderen Open-Source-Frameworks.

Das Abrufen genauer Informationen aus Unternehmenswissensquellen kann für RAG eine Herausforderung darstellen, da Standard-Sprachmodelle Benutzeranfragen häufig falsch interpretieren und sie mit breiten, generischen Informationen statt mit fachspezifischen Erkenntnissen abgleichen. Die Anpassung von LLMs an eine branchenspezifische Sprache trägt dazu bei, diese Lücke zu schließen und die Genauigkeit der Antworten sowie die Qualität von Gesprächen zu verbessern. Dieses Bedürfnis nach Präzision hat Shell dazu veranlasst, unternehmenseigene Fähigkeiten für die Anpassung von LLMs zu entwickeln, die in marktüblichen Produkten nicht verfügbar sind. Dies führte zur Zusammenarbeit des Unternehmens mit NVIDIA.

Mit dem von Shell entwickelten KI-gestützten Chatbot hätte das technische Personal die Möglichkeit, schnell auf detaillierte chemische Dokumente und Daten zuzugreifen, wodurch die Zeit für diese Aufgaben und das Fehlerrisiko verkürzt würde. Durch die Optimierung des Wissensabrufs kann der KI-Chatbot die Gewinnung von Erkenntnissen und die Entscheidungsfindung im Bereich Forschung und Entwicklung (F&E) verbessern und sowohl Innovationen als auch die betriebliche Effizienz unterstützen.

Neben einem verbesserten Abruf von Informationen kann das maßgeschneiderte LLM auch für die Analyse technischer Dokumente verwendet werden, um Workflows in verschiedenen Abteilungen zu optimieren.

Durch die kontinuierliche Verfeinerung des Modells durch reale Interaktionen positioniert Shell sein KI-System als adaptive Intelligenzschicht und verwandelt das Wissensmanagement in Unternehmen in eine dynamische und zugängliche Ressource.

Shell plant künftig, die Fähigkeit des domänenspezifisch angepassten LLMs weiter zu verbessern, indem es den Trainingsdatensatz erweitert und vielfältigere und anspruchsvollere Bewertungsaufgaben entwickelt. Neben der Verbesserung des Text-zu-Text-Modells sollen die multimodalen Fähigkeiten des KI-Chatbots genutzt werden. Dadurch kann der Chatbot verschiedene Arten von Daten, einschließlich Bildern und Videos, verarbeiten.

Multimodale Funktionen werden umfassendere und kontextbezogene Informationen liefern, die besonders für komplexe Entscheidungsprozesse wertvoll sein können.

Es wird erwartet, dass diese Verbesserungen die Produktivität und die betriebliche Effizienz weiter steigern und die Entschlossenheit von Shell untermauern wird, fortschrittliche und marktführende KI-Technologien für den Betrieb einzusetzen.