Revolut crea un modello di base per le transazioni con la piattaforma di calcolo accelerato NVIDIA

Fondata a Londra nel 2015 per offrire alle persone un'offerta più equa sul mercato dei cambi (FX), oggi Revolut aiuta più di 70 milioni di clienti in 40 mercati a gestire il proprio denaro in modo più semplice ed economico, con prodotti che coprono servizi bancari, pagamenti, FX, credito e gestione del patrimonio.

L'obiettivo di Revolut con PRAGMA era quello di apprendere rappresentazioni comportamentali ricche direttamente da flussi di eventi grezzi, per poi riutilizzare tali embedding nei flussi di lavoro relativi a rischio, crescita e prodotto. Per farlo su scala di modello di base con dati finanziari, il team aveva bisogno di calcolo accelerato ad alte prestazioni e di una piattaforma software di deep learning matura.

PRAGMA è una famiglia di modelli comportamentali basati su trasformatori che interpreta il percorso finanziario di ogni cliente come un segnale temporale ricco, in modo simile a come i modelli linguistici avanzati interpretano le sequenze di testo. È disponibile in configurazioni da decine di milioni a un miliardo di parametri, consentendo implementazioni che vanno dall'inferenza ultra-efficiente e a bassa latenza a modelli su larga scala ottimizzati per la massima accuratezza predittiva.

L'architettura combina tre encoder specializzati, per gli attributi dell'utente, i singoli eventi e la storia a lungo termine, per trasformare i dati del profilo e i flussi di transazioni ordinati nel tempo in una rappresentazione comportamentale unificata. Per preservare sia la struttura delle sequenze che la fedeltà numerica, PRAGMA utilizza un approccio di tokenizzazione strutturato che indicizza i campi categorici, quantizza i valori continui come gli importi delle transazioni e scompone i timestamp in componenti temporali interpretabili.

La temporizzazione tra gli eventi viene modellata con una trasformazione logaritmica fluida, consentendo al sistema di acquisire i comportamenti a breve termine e gli eventi di vita a lungo orizzonte all'interno di un singolo framework temporale. NVIDIA Llama-Nemotron-Embed-1B-v2 viene utilizzata per incorporare campi di testo non strutturati come le descrizioni dei commercianti, arricchendo il segnale comportamentale e offrendo un miglioramento misurato del 16,1% nelle prestazioni di previsione del rischio di credito.

Prima di PRAGMA, Revolut seguiva lo stesso modello di gran parte del settore bancario: pipeline di apprendimento automatico dedicate per ogni attività, dal rilevamento delle frodi e il punteggio del credito alla risposta di marketing e alla previsione del valore del ciclo di vita. Ogni modello dipendeva dalle proprie funzionalità progettate manualmente, dal linguaggio di query strutturato su misura e dall'ETL (Extract, Transform, Load), quindi il lancio di un nuovo caso d'uso o l'ingresso in un nuovo mercato significava ripetere mesi di ingegneria e convalida delle funzionalità.

Ciò ha creato una sperimentazione lenta, decisioni frammentate e limiti di scalabilità con l'accelerazione della crescita degli utenti. I sistemi di frode e credito potrebbero lavorare da diverse rappresentazioni della stessa storia del cliente, rendendo difficile l'ottimizzazione dei rischi e della crescita in modo olistico. A livello di settore, non esisteva un'architettura general-purpose in grado di gestire simultaneamente dati bancari eterogenei, pattern temporali a lungo termine e rigorosi vincoli di privacy, rimanendo efficiente nell'addestramento.

Revolut ha pre-addestrato PRAGMA su circa 26 milioni di record utente in 111 paesi, che coprono circa 24-40 miliardi di eventi e 207 miliardi di token in circa 28 mesi di storia. L'addestramento è stato eseguito su cluster di GPU NVIDIA H100 su Nebius, con PRAGMA-S (modello da 10 milioni di parametri) che converge in circa due giorni su 16 GPU, mentre le varianti più grandi richiedono circa due settimane su 16-32 GPU.

Il team di ingegneri IA di Revolut ha creato un batch dinamico basato su shard con budget fissi per i token di memoria delle GPU e ha sfruttato i kernel di attenzione a lunghezza variabile per ridurre il padding. Queste ottimizzazioni hanno generato un throughput 2-5 volte superiore rispetto alle baseline con padding, massimizzando l'utilizzo delle GPU H100 e mantenendo il pre-addestramento entro tempi e budget ridotti.

Una volta pre-addestrata, PRAGMA funge da backbone condivisa per più attività finanziarie. I team possono congelare il modello e addestrare testine lineari leggere su embedding per esperimenti rapidi o applicare il fine-tuning di LoRA, aggiornando solo il 2-4% dei parametri.

Questo design consente ai team di frode, credito, marketing e prodotto di mettere in atto nuovi modelli in pochi giorni anziché mesi, spesso senza creare nuove pipeline di funzionalità. PRAGMA-S offre una latenza inferiore al secondo per lo screening delle frodi in tempo reale nel punto di transazione, mentre le varianti più grandi gestiscono i carichi di lavoro sensibili all'accuratezza in cui la latenza è meno critica.

Consolidando il progetto su una backbone PRAGMA in esecuzione su GPU NVIDIA H100, Revolut riporta sia significativi guadagni di efficienza che importanti aumenti delle prestazioni rispetto a forti baseline di riferimento.

I cicli di sviluppo dei modelli sono ora circa 3-5 volte più veloci, perché i team riutilizzano gli embedding e gli adattatori condivisi anziché creare a mano funzionalità per ogni nuovo mercato o prodotto. Sul lato dell'addestramento, il sequenziamento e il batching dinamico sugli H100 offrono un miglioramento del throughput fino a 2-5×, supportando gli aggiornamenti regolari della backbone man mano che i dati e i mercati si evolvono.

In base ai benchmark interni di Revolut, PRAGMA offre un miglioramento del 64,7% nel recupero delle frodi e un aumento del 16,7% nella precisione delle frodi rispetto al precedente modello di produzione.

Poiché tutti questi miglioramenti avvengono a livello di backbone, ogni aggiornamento di PRAGMA fluisce in più unità aziendali, dalla frode al credito, al marketing e ai prodotti, contribuendo alla qualità dell'IA in tutta l'azienda. I team di scienza dei dati beneficiano di un codice meno duplicato, di una governance più semplice e di un monitoraggio unificato, mentre l'azienda può entrare in nuovi mercati e lanciare nuove funzionalità senza ricostruire il proprio stack di machine learning da zero.

Revolut prevede di espandere PRAGMA con più input multimodali, consentire il pre-addestramento continuo in modo che il modello possa apprendere dai nuovi eventi in modo più continuo e ampliare i casi d'uso a valle per includere la previsione del valore del ciclo di vita, la previsione del tasso di abbandono e il rilevamento delle anomalie.

Per quanto riguarda l'app, Revolut sta progettando un'interfaccia basata su modelli che si adatta in tempo reale al comportamento di ogni utente. Sul lato dell'infrastruttura, il team sta esplorando l'integrazione di AutoML, il versionamento degli embedding e una pipeline di inferenza completa.

Supportata dal calcolo accelerato di NVIDIA e dalla collaborazione nella ricerca, Revolut sta trasformando il proprio crescente set di dati comportamentali in un vantaggio competitivo duraturo, ridefinendo il concetto di banca globale basata sull'IA.