Shell entrena con NVIDIA NeMo un chatbot de IA personalizado para mejorar las operaciones

Para lograr una mayor precisión para su LLM de ámbito específico adaptado al sector de la energía, Shell se centró en seleccionar datos de entrenamiento de alta calidad como base de su solución de IA. El proceso de desarrollo comenzó con la selección y el preprocesamiento de un vasto conjunto de datos de documentos de química. Inicialmente, Shell tenía acceso a 300 000 documentos técnicos recopilados a lo largo de décadas. Estos documentos cubren varios ámbitos técnicos y se seleccionaron hasta 154 000 documentos de alta calidad utilizando el programa NVIDIA NeMo Curator.

El proceso de selección implicaba varios pasos, incluida la deduplicación exacta y difusa para eliminar el contenido repetido o casi duplicado. Shell también aplicó filtros de calidad, eliminó los documentos con información insuficiente o con un formato deficiente y utilizó la detección de idioma para excluir el contenido que no estaba en inglés. Además, se utilizó clasificación de dominios para seleccionar documentos para crear pruebas de referencia específicas de dominio.

Una vez organizado el conjunto de datos, Shell fue más allá de la generación aumentada por recuperación (RAG) y utilizó el marco NVIDIA NeMo para realizar el preentrenamiento adaptado al ámbito (DAPT) y el ajuste supervisado (SFT) para mejorar el conocimiento y la precisión sobre el ámbito del modelo. El DAPT permitió al modelo comprender verdaderamente el contexto y la terminología únicos del sector químico. Al mismo tiempo, el SFT refinó aún más el rendimiento del modelo al entrenarlo con datos etiquetados específicos para las necesidades de Shell. Aprovechando las técnicas de paralelismo disponibles a través de NeMo, Shell aceleró el tiempo de entrenamiento de modelos (millones de horas de GPU) en un 20 % en comparación con otros marcos de código abierto.

La recuperación de información precisa de las fuentes de conocimiento empresarial puede ser un desafío para la RAG porque los modelos de lenguaje estándar a menudo interpretan mal las consultas de los usuarios y las asocian con información amplia y genérica en lugar de con información específica de un ámbito. La adaptación de los LLM al lenguaje específico del sector ayuda a cerrar esta brecha y mejora la precisión de las respuestas y la calidad de las conversaciones. Esta necesidad de precisión llevó a Shell a desarrollar capacidades internas, no disponibles en los productos del mercado, para personalizar los LLM, lo que condujo a la colaboración de la empresa con NVIDIA.

Con el chatbot con tecnología de IA desarrollado por Shell, el personal de tecnología tendría la posibilidad de acceder rápidamente a documentos y datos químicos detallados, lo que reduciría el tiempo necesario para estas tareas y el riesgo de errores. Al agilizar la recuperación de conocimiento, el chatbot de IA puede mejorar la obtención de información y la toma de decisiones en el espacio de I+D, ayudando tanto a la innovación como a la eficiencia operativa.

Además de la recuperación de información mejorada, el LLM personalizado también se puede utilizar para el análisis de documentos técnicos, lo que ayuda a agilizar los flujos de trabajo en todos los departamentos.

Al refinar continuamente el modelo a través de interacciones en el mundo real, Shell sitúa su ecosistema de IA como una capa de inteligencia adaptativa, transformando la gestión del conocimiento empresarial en un recurso dinámico y accesible.

De cara al futuro, Shell planea mejorar aún más la capacidad de los LLM adaptados a un ámbito ampliando el conjunto de datos de entrenamiento y desarrollando tareas de evaluación más diversas y desafiantes. Junto con la mejora del modelo de texto a texto, la ambición es desbloquear las capacidades multimodales del chatbot de IA. Esto permitirá al chatbot gestionar y procesar varios tipos de datos, incluidas las imágenes y los vídeos.

Se espera que la adición de capacidades multimodales proporcione información más completa y rica en contexto, lo que puede ser particularmente valioso para los procesos de toma de decisiones complejos.

Se espera que estas mejoras impulsen aún más la productividad y la eficiencia operativa, solidificando el compromiso de Shell para aprovechar las tecnologías de IA avanzadas de vanguardia en beneficio de sus operaciones.