Los sistemas de recomendación son ubicuos en las aplicaciones tanto de consumo como empresariales para minoristas, medios de comunicación, publicidad y búsquedas generales, entre muchos otros. Estos sistemas incorporan varios modelos y componentes basados en reglas; también procesan enormes cantidades de datos y pueden tener un tremendo impacto económico.
Dado que los sistemas de recomendación se implementan a menudo en entornos altamente dinámicos, los modelos de recuperación y puntuación pueden necesitar ser entrenados varias veces al día y los científicos de datos tendrán que encontrar una forma de adaptar su rendimiento para maximizar las métricas empresariales. Esto es aún más complicado porque el sistema general dependerá de la interacción entre los modelos entrenados (para encontrar sugerencias relevantes y puntuar una lista filtrada) y las reglas de negocio (para filtrar sugerencias irrelevantes y ordenar los resultados finales).
Por lo tanto, los científicos de datos necesitan un entorno flexible para diseñar y realizar un seguimiento de experimentos, probar hipótesis y definir métricas para monitorizar en producción. Los ingenieros de aprendizaje automático necesitan herramientas para definir, ejecutar y supervisar los procesos de entrenamiento, así como para supervisar el rendimiento del sistema en general.