Shell addestra chatbot IA personalizzati con NVIDIA NeMo per migliorare le operazioni

Al fine di ottenere una maggiore precisione per il suo LLM specifico per dominio personalizzato per il settore energetico, Shell si è concentrata sulla selezione di dati di addestramento di alta qualità come base della sua soluzione IA. Il processo di sviluppo è iniziato con la selezione e la pre-elaborazione di un vasto set di dati di documenti chimici. Inizialmente, Shell aveva accesso a 300.000 documenti tecnici raccolti nel corso di decenni. Questi documenti coprono vari domini tecnici e sono stati ridotti a 154.000 documenti di alta qualità utilizzando NVIDIA NeMo Curator.

Il processo di selezione ha comportato diversi passaggi, tra cui la deduplicazione sia esatta che fuzzy per rimuovere i contenuti ripetuti o semi-duplicati. Shell ha inoltre applicato filtri di qualità, rimuovendo i documenti con informazioni insufficienti o con una formattazione scadente e ha utilizzato il rilevamento della lingua per escludere contenuti non in inglese. Inoltre, ha utilizzato la classificazione per dominio per selezionare i documenti per la creazione di benchmark specifici per dominio.

Una volta selezionato il set di dati, Shell è andata oltre la generazione aumentata di recupero (RAG) e ha utilizzato il framework NVIDIA NeMo per eseguire il pre-addestramento adattivo al dominio (DAPT) e l'ottimizzazione supervisionata (SFT) per migliorare le conoscenze e la precisione specifiche per dominio del modello. Il DAPT ha permesso al modello di comprendere veramente il contesto e la terminologia unici del settore chimico. Allo stesso tempo, l'SFT ha perfezionato ulteriormente le prestazioni del modello addestrandolo su dati etichettati specifici per le esigenze di Shell. Sfruttando le tecniche di parallelismo disponibili tramite NeMo, Shell ha potuto accelerare il tempo di addestramento dei modelli (milioni di ore GPU) del 20% rispetto ad altri framework open-source.

Recuperare informazioni accurate da fonti di conoscenze aziendali può essere difficile per la RAG, poiché i modelli linguistici standard spesso interpretano male le query degli utenti, abbinandole a informazioni generiche anziché a informazioni specifiche per dominio. Adattare gli LLM al linguaggio specifico del settore aiuta a colmare questa lacuna e migliora la precisione delle risposte e la qualità della conversazione. Questa necessità di precisione ha spinto Shell a sviluppare capacità interne, non disponibili nei prodotti di mercato, per la personalizzazione degli LLM, risultando nella collaborazione dell'azienda con NVIDIA.

Grazie al chatbot basato sull'IA sviluppato da Shell, il personale tecnico ha la possibilità di accedere rapidamente a documenti e dati chimici dettagliati, riducendo il tempo necessario per tali attività e il rischio di errori. Semplificando il recupero delle conoscenze, il chatbot basato sull'IA può migliorare l'acquisizione di informazioni e il processo decisionale in ambito R&D, supportando sia l'innovazione che l'efficienza operativa.

Oltre al recupero avanzato delle informazioni, l'LLM personalizzato può essere utilizzato anche per l'analisi di documenti tecnici, contribuendo a semplificare i flussi di lavoro tra i dipartimenti.

Perfezionando continuamente il modello attraverso le interazioni con il mondo reale, l'ecosistema IA di Shell si sta affermando come un livello di intelligenza adattiva, trasformando la gestione delle conoscenze aziendali in una risorsa dinamica e accessibile.

Guardando al futuro, Shell ha in programma di migliorare ulteriormente le funzionalità dell'LLM adattato al dominio espandendo il set di dati di addestramento e sviluppando attività di valutazione più variegate e impegnative. Oltre a migliorare il modello testo-to-testo, l'azienda punta a sbloccare le funzionalità multimodali del chatbot IA. Ciò consentirà al chatbot di gestire ed elaborare vari tipi di dati, tra cui immagini e video.

L'aggiunta di funzionalità multimodali dovrebbe fornire informazioni più complete e contestualmente ricche, che possono essere particolarmente preziose per i processi decisionali complessi.

Si prevede che questi miglioramenti possano aumentare ulteriormente la produttività e l'efficienza operativa, consolidando l'impegno di Shell a sfruttare le tecnologie IA avanzate leader di mercato a vantaggio delle sue operazioni.