Shell Entrena Chatbot de IA Personalizado con NVIDIA NeMo para Optimizar Operaciones

Para lograr una mayor exactitud en su LLM específico de dominio, adaptado a la industria energética, Shell se centró en la selección de datos de entrenamiento de alta calidad como base de su solución de IA. El proceso de desarrollo comenzó con la selección y el preprocesamiento de un vasto conjunto de datos de documentos de química. Inicialmente, Shell tenía acceso a 300 000 documentos técnicos recopilados a lo largo de décadas. Estos documentos cubren varios dominios técnicos y fueron reducidos a 154 000 documentos de alta calidad mediante NVIDIA NeMo Curator.

El proceso de selección involucró varios pasos, que incluyeronn la desduplicación exacta y difusa para eliminar el contenido repetido o casi duplicado. Shell también aplicó filtros de calidad, eliminó documentos con información insuficiente o mal formato y usó la detección de idioma para excluir contenido no en inglés. Además, se usó la clasificación de dominios para seleccionar documentos en aras de desarrollar análisis de referencia específicos de dominio.

Una vez seleccionado el conjunto de datos, Shell fue más allá de la generación aumentada por recuperación (RAG) y usó el framework NVIDIA NeMo para realizar el preentrenamiento adaptativo de dominio (DAPT) y el ajuste fino supervisado (SFT) para mejorar el conocimiento y la exactitud específicos de dominio del modelo. DAPT le permitió al modelo comprender verdaderamente el contexto y la terminología únicos de la industria química. Al mismo tiempo, SFT refinó aún más el desempeño del modelo al entrenarlo con datos etiquetados específicos para las necesidades de Shell. Al aprovechar las técnicas de paralelismo disponibles a través de NeMo, Shell aceleró el tiempo de entrenamiento de modelos (millones de horas de GPU) en un 20% en comparación con otros frameworks de código abierto.

La recuperación de información exacta de las fuentes de conocimiento empresarial puede ser un desafío para RAG porque los modelos de lenguaje estándar a menudo interpretan mal las consultas de los usuarios, lo que las combina con información amplia y genérica en lugar de información específica de dominio. La adaptación de los LLM al lenguaje específico de la industria ayuda a cerrar esta brecha y mejora la exactitud de las respuestas y la calidad de las conversaciones. Esta necesidad de precisión llevó a Shell a desarrollar capacidades internas, no disponibles en los productos del mercado, para personalizar los LLM, lo que llevó a la colaboración de la compañía con NVIDIA.

Con el chatbot impulsado por IA desarrollado por Shell, el personal de tecnología tendría la posibilidad de acceder rápidamente a documentos y datos químicos detallados, lo que reduciría el tiempo necesario para estas tareas y el riesgo de errores. Al agilizar la recuperación de conocimiento, el chatbot de IA puede mejorar la obtención de información y la toma de decisiones en el espacio de I+D, lo que respalda la innovación y la eficiencia operativa.

Además de la recuperación de información mejorada, el LLM personalizado también se puede utilizar para el análisis de documentos técnicos, lo que ayuda a agilizar los workflows en todos los departamentos.

Al refinar continuamente el modelo a través de interacciones del mundo real, Shell está posicionando su ecosistema de IA como una capa de inteligencia adaptativa, lo que transforma la administración del conocimiento empresarial en un recurso dinámico y accesible.

De cara al futuro, Shell planea mejorar aún más la capacidad de los LLM adaptados a dominio mediante la expansión del conjunto de datos de entrenamiento y el desarrollo de tareas de evaluación más diversas y desafiantes. Junto con la mejora del modelo de texto a texto, la ambición es aumentar las capacidades multimodales del chatbot de IA. Esto le permitirá al chatbot manejar y procesar varios tipos de datos, como imágenes y videos.

Se espera que la adición de capacidades multimodales proporcione información más integral y contextualmente rica, lo que puede ser particularmente valioso para procesos complejos de toma de decisiones.

Se anticipa que estas mejoras impulsen aún más la productividad y la eficiencia operativa, y así solidificar el compromiso de Shell de aprovechar las tecnologías avanzadas de IA que lideran el mercado para el beneficio de sus operaciones.