Revolut crée un modèle de fondation de transaction avec la plateforme de calcul accéléré de NVIDIA

Fondée à Londres en 2015 dans le but d'offrir aux particuliers de meilleures conditions sur le marché des changes (FX), Revolut aide aujourd'hui plus de 70 millions de clients répartis sur 40 marchés à gérer leur argent plus facilement et à moindre coût, grâce à une gamme de produits allant des services bancaires aux paiements, en passant par le marché des changes, le crédit et la gestion de patrimoine.

Avec PRAGMA, l'objectif de Revolut était d'extraire des représentations comportementales détaillées directement à partir de flux d'événements bruts, puis de les réutiliser dans les workflows liés aux risques, à la croissance et aux produits. Pour y parvenir à l'échelle d'un modèle de fondation sur des données financières, l'équipe avait besoin d'une infrastructure de calcul accéléré haute performance et d'une plateforme logicielle de Deep Learning éprouvée.

PRAGMA est une famille de modèles comportementaux basés sur des transformateurs qui interprète le parcours financier de chaque client comme un signal temporel riche, à l'instar de la manière dont les modèles de langage avancés interprètent des séquences de texte. Disponible dans des configurations allant de quelques dizaines de millions à un milliard de paramètres, cette solution permet des déploiements allant de l'inférence ultra-efficace à faible latence à des modèles à grande échelle optimisés pour une précision prédictive maximale.

Cette architecture associe trois encodeurs spécialisés, dédiés respectivement aux attributs des utilisateurs, à chaque événement et à l'historique à long terme, afin de transformer les données de profil et les flux de transactions chronologiques en une représentation comportementale unifiée. Afin de préserver à la fois la structure des séquences et la précision des données numériques, PRAGMA utilise une approche de tokenisation structurée qui indexe les champs catégoriels, quantifie les valeurs continues telles que les montants des transactions et décompose les horodatages en composantes temporelles interprétables.

La chronologie entre les événements est modélisée à l'aide d'une transformation logarithmique lisse, ce qui permet au système de rendre compte à la fois des comportements ponctuels et des événements à long terme au sein d'un même framework temporel. NVIDIA Llama-Nemotron-Embed-1B-v2 est utilisé pour intégrer des champs de texte non structurés, tels que les descriptions des commerçants, ce qui enrichit les signaux comportementaux et permet d'obtenir une amélioration mesurée de 16,1 % des performances en matière de prédiction du risque de crédit.

Avant PRAGMA, Revolut suivait le même modèle que la plupart des acteurs du secteur bancaire, avec des pipelines d'apprentissage automatique dédiés à chaque tâche, de la détection des fraudes et de l'évaluation de la solvabilité à l'analyse des réponses marketing en passant par la prédiction de la valeur vie client. Chaque modèle reposait sur ses propres fonctionnalités développées sur mesure, son langage de requête structuré spécifique et son processus ETL (extraction, transformation, chargement) de sorte que le lancement d'un nouveau cas d'utilisation ou l'entrée sur un nouveau marché impliquait à nouveau plusieurs mois de travail de conception et de validation des fonctionnalités.

Ceci a entraîné une expérimentation lente, des décisions fragmentées et certaines limites en matière d'évolutivité à mesure que le nombre d'utilisateurs augmentait. Les systèmes de fraude et de crédit reposaient sur différentes représentations du même historique client, ce qui rendait difficile l'optimisation des risques et de la croissance de manière holistique. Aucune architecture polyvalente dans ce secteur n'était capable de traiter simultanément des données bancaires hétérogènes, des tendances temporelles à long terme et des contraintes strictes en matière de confidentialité, tout en conservant une efficacité suffisante pour l'entraînement.

Revolut a pré-entraîné PRAGMA sur environ 26 millions d'enregistrements d'utilisateurs dans 111 pays, ce qui représente environ environ 24 à 40 milliards d'événements et 207 milliards de jetons sur environ 28 mois d'histoire. L'entraînement été effectué sur des clusters de GPU NVIDIA H100 sur Nebius, le modèle PRAGMA-S (modèle comportant 10 millions de paramètres) a convergé en deux jours environ sur 16 GPU, tandis que les variantes plus complexes ont nécessité environ deux semaines sur 16 à 32 GPU.

L'équipe d'ingénierie d'IA de Revolut a créé un traitement par lots dynamique basé sur les fragments avec des budgets de jetons de mémoire GPU fixes, et a exploité des noyaux d'attention à longueur variable pour réduire le remplissage. Ces optimisations ont permis d'obtenir un débit 2 à 5 fois supérieur à celui des modèles de référence avec remplissage, ce qui a permis de maximiser l'utilisation des GPU H100 et de rester dans les délais et les budgets serrés alloués au pré-entraînement.

Une fois pré-entraîné, PRAGMA sert d'infrastructure clé partagée pour de multiples tâches financières. Les équipes peuvent soit geler le modèle et entraîner des têtes linéaires légères sur des intégrations pour des expériences rapides, soit appliquer un réglage fin LoRA, en ne mettant à jour que 2 à 4 % des paramètres.

Grâce à cette architecture, les équipes chargées de la lutte contre la fraude, de la gestion du crédit, du marketing et des produits peuvent mettre en place de nouveaux modèles en quelques jours seulement, au lieu de plusieurs mois, souvent sans avoir à créer de nouveaux pipelines de fonctionnalités. PRAGMA-S offre une latence inférieure à la seconde pour la détection des fraudes en temps réel lors des transactions, tandis que ses versions plus puissantes prennent en charge les charges de travail sensibles à la précision pour lesquelles la latence est moins critique.

En s'appuyant sur une infrastructure PRAGMA fonctionnant sur des GPU NVIDIA H100, Revolut a enregistré des gains d'efficacité significatifs ainsi qu'une nette amélioration des performances au-delà de ses niveaux de référence déjà élevés.

Les cycles de développement de modèles sont désormais environ 3 à 5 fois plus rapides, car les équipes réutilisent les intégrations et les adaptateurs partagés au lieu de créer manuellement des fonctionnalités pour chaque nouveau marché ou produit. Du côté de l'entraînement, le regroupement de séquences et le traitement par lots dynamique sur les H100 permettent d'améliorer le débit jusqu'à 2 à 5 fois, ce qui permet de rafraîchir régulièrement l'architecture de base à mesure que les données et les marchés évoluent.

D'après les tests comparatifs internes de Revolut, PRAGMA affiche une amélioration de 64,7 % du taux de détection des fraudes et une augmentation de 16,7 % de la précision de détection par rapport au modèle de production précédent.

Toutes ces améliorations se produisant au niveau de l'architecture de base, chaque mise à jour de PRAGMA se répercute sur plusieurs divisions de l'entreprise, de la lutte contre la fraude et la gestion du crédit au marketing et aux produits, renforçant ainsi la qualité de l'IA à l'échelle de l'entreprise. Les équipes de Data Science bénéficient d'une réduction de la duplication du code, d'une gouvernance simplifiée et d'une surveillance unifiée, tandis que l'entreprise peut pénétrer de nouveaux marchés et lancer de nouvelles fonctionnalités sans reconstruire sa pile d'apprentissage automatique à partir de zéro.

Revolut prévoit d'étendre PRAGMA en y intégrant davantage de données multimodales, de mettre en place un pré-entraînement continu afin que le modèle puisse s'enrichir plus régulièrement à partir de nouveaux événements, et d'élargir les cas d'utilisation en aval pour y inclure la prédiction de la valeur vie client, la prévision du taux de désabonnement et la détection des anomalies.

Côté application, Revolut met au point une interface basée sur des modèles qui s'adapte en temps réel au comportement de chaque utilisateur. Côté infrastructure, l'équipe étudie l'intégration d'AutoML ainsi que la mise en place d'un système de gestion des versions et d'un pipeline d'inférence complet.

Grâce à la puissance de calcul accéléré de NVIDIA et à leur collaboration dans le domaine de la recherche, Revolut transforme son jeu de données comportementales en constante expansion en un avantage concurrentiel durable, redéfinissant ainsi ce à quoi peut ressembler une banque mondiale basée sur l'IA.