Revolut crea un modelo básico de transacciones con la plataforma de computación acelerada de NVIDIA

Fundada en Londres en 2015 para ofrecer a los usuarios una oferta más justa en el sector de divisas (FX), Revolut ayuda en la actualidad a más de 70 millones de clientes en 40 mercados a gestionar su dinero de forma más fácil y económica, con productos que abarcan los sectores de banca, pagos, divisas, crédito y gestión de patrimonio.

El objetivo de Revolut con PRAGMA era aprender representaciones de comportamiento enriquecidas directamente de transmisiones de eventos sin procesar y, a continuación, reutilizar esas integraciones en flujos de trabajo de riesgo, crecimiento y productos. Para hacer esto a escala de modelos básicos en datos financieros, el equipo necesitaba computación acelerada de alto rendimiento y una plataforma de software de deep learning madura.

PRAGMA es una familia de modelos de comportamiento basados en transformadores que interpretan la experiencia financiera de cada cliente como una señal temporal rica, de forma similar a la manera que tienen los modelos lingüísticos avanzados de interpretar las secuencias de texto. Está disponible en configuraciones de decenas de millones a mil millones de parámetros, lo que permite implementaciones que van desde inferencia ultraeficiente y de baja latencia hasta modelos a gran escala optimizados para ofrecer la máxima precisión predictiva.

La arquitectura combina tres codificadores especializados, para atributos de usuario, eventos individuales e historial a largo plazo, para transformar los datos de perfil y los flujos de transacciones ordenados en el tiempo en una representación de comportamiento unificada. Para preservar tanto la estructura de secuencia como la fidelidad numérica, PRAGMA utiliza un enfoque de tokenización estructurado que indexa los campos categóricos, cuantifica los valores continuos, como los importes de las transacciones, y descompone las marcas de tiempo en componentes temporales interpretables.

La sincronización entre eventos se modela con una transformación logarítmica fluida, lo que permite al sistema capturar comportamientos a corto plazo y eventos de vida a largo plazo dentro de un único marco temporal. NVIDIA Llama‑Nemotron‑Embed‑1B‑v2 se utiliza para incrustar campos de texto no estructurados, como descripciones de comerciantes, lo que enriquece la señal de comportamiento y proporciona una mejora calculada del 16,1 % en el rendimiento de predicción del riesgo crediticio.

Antes de PRAGMA, Revolut seguía el mismo patrón que gran parte del sector bancario: canalizaciones de aprendizaje automático dedicadas para cada tarea, desde la detección de fraude y la puntuación crediticia hasta la respuesta de marketing y la predicción del valor de por vida. Cada modelo dependía de sus propias características hechas a mano, lenguaje de consulta estructurado a medida y ETL (extracción, transformación y carga), por lo que lanzar un nuevo caso de uso o entrar en un nuevo mercado significaba repetir meses de ingeniería y validación de características.

Esto creó una experimentación lenta, decisiones fragmentadas y límites de escalado a medida que se aceleraba el crecimiento de usuarios. Los sistemas de fraude y de crédito podrían estar funcionando a partir de diferentes representaciones del mismo historial de cliente, lo que dificultaba la optimización del riesgo y el crecimiento de forma holística. A nivel del sector, no existía una arquitectura de propósito general que pudiera gestionar simultáneamente datos bancarios heterogéneos, patrones temporales de largo alcance y estrictas restricciones de privacidad sin perder eficiencia en el entrenamiento.

Revolut preentrenó PRAGMA en unos 26 millones de registros de usuarios en 111 países, que abarcan aproximadamente de 24 000 millones a 40 000 millones de eventos y 207 000 millones de tokens en unos 28 meses de historia. El entrenamiento se realizó en clústeres de GPU NVIDIA H100 en Nebius, con PRAGMA-S (modelo de 10 millones de parámetros) convergiendo en aproximadamente dos días en 16 GPU, y las variantes de mayor tamaño tardaron aproximadamente dos semanas en 16-32 GPU.

El equipo de ingeniería de IA de Revolut creó el procesamiento por lotes dinámico basado en fragmentos con presupuestos fijos para tokens de memoria de la GPU y aprovechó los núcleos de atención de longitud variable para reducir el relleno. Estas optimizaciones impulsaron un rendimiento 2-5 veces superior al de las bases de referencia con padding, lo que maximiza la utilización de las GPU H100 y mantiene el preentrenamiento dentro de unos presupuestos de tiempo y costes ajustados.

Una vez preentrenado, PRAGMA sirve de columna vertebral compartida para múltiples tareas financieras. Los equipos pueden congelar el modelo y entrenar cabezas lineales ligeras sobre las integraciones para experimentos rápidos o aplicar un ajuste fino de LoRA, actualizando solo el 2 %–4 % de los parámetros.

Este diseño permite a los equipos de fraude, crédito, marketing y producto crear nuevos modelos en días, en lugar de meses, a menudo sin crear nuevas canalizaciones de características. PRAGMA-S proporciona una latencia de menos de un segundo para la detección de fraude en tiempo real en el punto de la transacción, mientras que las variantes de mayor tamaño gestionan cargas de trabajo sensibles a la precisión, en las que la latencia es menos crítica.

Al consolidar la infraestructura en una columna vertebral de PRAGMA que se ejecuta en las GPU NVIDIA H100, Revolut obtiene ganancias significativas de eficiencia y grandes aumentos de rendimiento en sólidas bases de referencia.

Los ciclos de desarrollo de modelos ahora son aproximadamente 3-5 veces más rápidos, porque los equipos reutilizan integraciones y adaptadores compartidos en lugar de crear características a mano para cada nuevo mercado o producto. En cuanto al entrenamiento, el empaquetamiento de secuencias y el procesamiento por lotes dinámico en H100 proporcionan una mejora del rendimiento de hasta 2–5 veces, lo que admite las actualizaciones regulares de la columna vertebral a medida que los datos y los mercados evolucionan.

En las pruebas de referencia internas de Revolut, PRAGMA proporciona una mejora del 64,7 % en la detección de fraudes y un aumento del 16,7 % en la precisión de fraude en comparación con el modelo de producción anterior.

Dado que todas estas mejoras se producen en el nivel de la columna vertebral, cada actualización de PRAGMA se transmite a múltiples unidades empresariales (desde fraude y crédito hasta marketing y producto), lo que aumenta la calidad de la IA en toda la empresa. Los equipos de ciencia de datos se benefician de menos código duplicado, una gobernanza más simple y una supervisión unificada, mientras que las empresas pueden entrar en nuevos mercados y lanzar nuevas características sin necesidad de reconstruir su pila de aprendizaje automático desde cero.

Revolut planea ampliar PRAGMA con más entradas multimodales, permitir el preentrenamiento continuo para que el modelo pueda aprender de nuevos eventos de forma más continua y ampliar los casos de uso posteriores para incluir la predicción del valor de vida, la previsión de abandono y la detección de anomalías.

En cuanto a las aplicaciones, Revolut está seleccionando una interfaz basada en modelos que se adapte en tiempo real al comportamiento de cada usuario. En lo que respecta a la infraestructura, el equipo está explorando la integración de AutoML, el versionado de integraciones y una canalización de inferencia completa.

Con el respaldo de la colaboración en computación acelerada e investigación de NVIDIA, Revolut está convirtiendo su creciente conjunto de datos de comportamiento en una ventaja competitiva duradera, lo que redefine cómo puede ser un banco global con tecnología de IA.