Shell entraîne un chatbot personnalisé basé sur l'IA avec NVIDIA NeMo pour améliorer les opérations

Pour améliorer la précision de son LLM dédié à l'industrie de l'énergie, Shell s'est concentrée sur organiser des données d'entraînement de haute qualité en guise de fondements pour sa solution d'IA. Le processus de développement a commencé par l'organisation et le prétraitement d'un vaste ensemble de documents relatifs à la chimie. Shell avait accès à 300 000 documents techniques collectés sur plusieurs décennies et portant sur divers domaines. Parmi eux, 154 000 ont finalement été retenus pour leur qualité grâce à NVIDIA NeMo Curator.

Le processus de sélection s'est déroulé en plusieurs étapes, avec notamment une phase de suppression des contenus identiques ou presque identiques. Shell a également appliqué des filtres de qualité　afin de supprimer les documents contenant trop peu d'informations ou qui étaient mal formatés, en plus de la fonction de détection de la langue pour exclure le contenu qui n'était pas en anglais. L'entreprise a aussi fait appel à la classification par domaine pour sélectionner des documents destinés à développer des benchmarks spécifiques à un domaine donné.

Une fois le jeu de données organisé, Shell est allé au-delà de la génération augmentée par récupération (RAG) pour utiliser le framework NVIDIA NeMo pour effectuer un pré-entraînement adaptatif au domaine (DAPT) et un affinage supervisé (SFT) afin d'améliorer les connaissances et la précision du modèle dans le domaine choisi. Ce pré-entrainement DAPT a permis au modèle de vraiment comprendre le contexte et la terminologie propres à l'industrie chimique. En parallèle, l'affinage SFT a continué à affiner les performances du modèle en l'entraînant sur des données étiquetées spécifiques aux besoins de Shell. Grâce aux techniques de parallélisme disponibles via NeMo, Shell a réduit de 20 % le délai d'entraînement du modèle (en millions d'heures GPU) par rapport à d'autres frameworks open source.

Récupérer des informations précises à partir des documents de l'entreprise peut s'avérer difficile pour la RAG, car les modèles de langage standard interprètent souvent mal les questions des utilisateurs et les associent à des informations génériques plutôt qu'à des données spécifiques à un domaine. L'adaptation des LLM au langage spécifique à un secteur permet de contourner cette limitation et d'améliorer la précision des réponses et la qualité des conversations. C'est ce besoin de précision qui a poussé Shell à développer des outils en interne pour personnaliser les LLM (outils qui n'étaient pas disponibles dans les solutions sur le marché) et qui a conduit à sa collaboration avec NVIDIA.

Le chatbot basé sur l'IA développé par Shell devrait permettre au personnel technologique d'accéder rapidement à des documents et à des données chimiques détaillés, et ainsi accélérer ces tâches et minimiser le risque d'erreur. En simplifiant l'accès aux connaissances, le chatbot basé sur l'IA peut améliorer la collecte d'informations et la prise de décisions dans le domaine de la R&D, ce qui contribue à la fois à l'innovation et à l'efficacité opérationnelle.

Outre un meilleur accès aux informations, le LLM personnalisé peut également être utilisé pour l'analyse de documents techniques et ainsi simplifier les workflows entre les différents services.

En affinant constamment le modèle grâce à des interactions réelles, Shell positionne son écosystème d'IA comme une couche d'intelligence adaptative et transforme les connaissances de l'entreprise en une ressource dynamique et accessible.

Shell prévoit d'améliorer encore les capacités de son LLM spécialisé dans un domaine en élargissant le jeu de données d'entraînement et en développant des tâches d'évaluation plus diversifiées et plus complexes. Outre l'amélioration du modèle texte-à-texte, l'objectif est d'exploiter les capacités multimodales du chatbot basé sur l'IA. Il pourra ainsi gérer et traiter différents types de données, notamment des images et des vidéos.

L'ajout de capacités multimodales devrait permettre de fournir des informations plus complètes et plus riches en termes de contexte : un point particulièrement utile pour les processus de prise de décision complexes.

Ces améliorations devraient accroître encore la productivité et l'efficacité opérationnelle, et prouver la volonté de Shell de tirer parti de technologies d'IA avancées pour améliorer ses opérations.