Revolut entwickelt ein Foundation Model für Transaktionen mit der beschleunigten Computing-Plattform von NVIDIA

Revolut wurde 2015 in London gegründet, um Menschen ein faireres Geschäft mit Devisen (FX) zu ermöglichen. Heute hilft Revolut mehr als 70 Millionen Kunden in 40 Märkten dabei, ihr Geld einfacher und kostengünstiger zu verwalten, mit Produkten aus den Bereichen Bankwesen, Zahlungsverkehr, FX, Kreditvergabe und Vermögensverwaltung.

Das Ziel von Revolut mit PRAGMA war es, umfassende Verhaltensdarstellungen direkt aus den rohen Event-Streams zu lernen – und diese Einbettungen dann in Risiko-, Wachstums- und Produkt-Workflows wiederzuverwenden. Um dies auf der Skala von Foundation-Modellen mit Finanzdaten zu erreichen, benötigte das Team beschleunigtes Hochleistungs-Computing und eine ausgereifte Deep Learning-Softwareplattform.

PRAGMA ist eine Familie von Transformer-basierten Verhaltensmodellen, die die finanzielle Reise jedes Kunden als ein reichhaltiges Zeitsignal interpretieren, ähnlich wie fortschrittliche Sprachmodelle Textsequenzen interpretieren. Es ist in Konfigurationen mit mehreren Dutzend Millionen bis zu einer Milliarde Parametern verfügbar und ermöglicht Bereitstellungen, die von ultraeffizienter Inferenz mit geringer Latenz bis hin zu großen Modellen reichen, die für maximale Vorhersagegenauigkeit optimiert sind.

Die Architektur kombiniert drei spezialisierte Encoder – für Benutzerattribute, einzelne Ereignisse und den Langzeitverlauf – um Profildaten und zeitlich geordnete Transaktionsströme in eine einheitliche Verhaltensdarstellung zu verwandeln. Um sowohl die Sequenzstruktur als auch die numerische Genauigkeit zu erhalten, nutzt PRAGMA einen strukturierten Tokenisierungsansatz, der kategorische Felder indiziert, kontinuierliche Werte wie Transaktionsbeträge quantisiert und Zeitstempel in interpretierbare Zeitkomponenten zerlegt.

Das Timing zwischen Ereignissen wird mit einer glatten logarithmischen Transformation modelliert, sodass das System kurzfristige Verhaltensweisen und langfristige Lebensereignisse in einem einzigen zeitlichen Gefüge erfassen kann. NVIDIA Llama-Nemotron-Embed-1B-v2 wird verwendet, um unstrukturierte Textfelder wie Händlerbeschreibungen einzubetten. Dies bereichert das Verhaltenssignal und sorgt für eine gemessene Verbesserung der Kreditrisikovorhersage um 16,1 %.

Vor PRAGMA folgte Revolut dem gleichen Muster wie ein Großteil der Bankenbranche: dedizierte Machine-Learning-Pipelines für jede Aufgabe, von der Betrugserkennung und Bonitätsbewertung bis hin zur Marketing-Reaktion und der Vorhersage des Customer Lifetime Value. Jedes Modell war auf seine eigenen handgefertigten Merkmale, eine maßgeschneiderte strukturierte Abfragesprache und ETL (Extract, Transform, Load) angewiesen. Die Einführung eines neuen Anwendungsfalls oder der Eintritt in einen neuen Markt bedeutete daher, die monatelange Merkmalsentwicklung und Validierung zu wiederholen.

Das führte zu einem langsamen Experimentierprozess, fragmentierten Entscheidungen und Skalierungsgrenzen, während sich das Benutzerwachstum beschleunigte. Betrugs- und Kreditsysteme könnten auf unterschiedlichen Darstellungen derselben Kundenhistorie basieren, was die ganzheitliche Optimierung von Risiko und Wachstum erschwert. Auf Branchenebene gab es keine Universalarchitektur, die gleichzeitig mit heterogenen Bankdaten, langfristigen zeitlichen Mustern und strengen Datenschutzbeschränkungen umgehen konnte und dabei effizient zu trainieren war.

Revolut hat PRAGMA mit etwa 26 Millionen Benutzerdatensätzen in 111 Ländern vortrainiert, die etwa 24 bis 40 Milliarden Ereignisse und 207 Milliarden Token über einen Zeitraum von etwa 28 Monaten hinweg umfassten. Das Training wurde auf Clustern von NVIDIA H100-GPUs auf Nebius durchgeführt, wobei PRAGMA-S (Modell mit 10 Millionen Parametern) in etwa zwei Tagen auf 16 GPUs konvergierte und größere Varianten etwa zwei Wochen auf 16–32 GPUs benötigten.

Das KI-Engineering-Team von Revolut hat Shard-basiertes dynamisches Batching mit festen GPU-Speicher-Token-Budgets entwickelt und Attention-Kernel variabler Länge genutzt, um das Padding zu reduzieren. Diese Optimierungen führten zu einem 2–5-fach höheren Durchsatz als bei aufgefüllten Referenzwerten, maximierten die Auslastung von H100-GPUs und hielten das Pre-Training im Rahmen enger Zeit- und Kostenbudgets.

Einmal vortrainiert, dient PRAGMA als gemeinsames Fundament für mehrere Finanzaufgaben. Teams können entweder das Modell einfrieren und leichte lineare Layer auf Basis von Einbettungen für schnelle Experimente trainieren oder eine LoRA-Feinabstimmung anwenden, bei der nur 2–4 % der Parameter aktualisiert werden.

Dank dieses Designs können Betrugs-, Kredit-, Marketing- und Produktteams neue Modelle innerhalb von Tagen statt Monaten bereitstellen – oft ohne neue Feature-Pipelines aufbauen zu müssen. PRAGMA-S bietet eine Latenz von unter einer Sekunde für das Echtzeit-Betrugsscreening am Ort der Transaktion, während größere Varianten genauigkeitssensible Workloads bewältigen, bei denen die Latenz weniger kritisch ist.

Durch die Konsolidierung auf einem PRAGMA-Fundament, das auf NVIDIA H100-GPUs ausgeführt wird, erzielt Revolut sowohl erhebliche Effizienzgewinne als auch große Leistungssteigerungen gegenüber starken Referenzwerten.

Modellentwicklungszyklen sind jetzt etwa 3 bis 5 Mal schneller, da Teams gemeinsame Einbettungen und Adapter wiederverwenden, anstatt Merkmale für jeden neuen Markt oder jedes neue Produkt manuell zu erstellen. Auf der Trainingsseite bieten Sequence Packing und dynamisches Batching auf H100s eine bis zu 2–5-fache Durchsatzsteigerung und unterstützen regelmäßige Aktualisierungen des Backbones, während sich Daten und Märkte weiterentwickeln.

In den internen Benchmarks von Revolut bietet PRAGMA eine Verbesserung des Betrugs-Recalls um 64,7 % und eine Steigerung der Betrugs-Präzision um 16,7 % im Vergleich zum vorherigen Produktionsmodell.

Da alle diese Verbesserungen auf der Backbone-Ebene stattfinden, fließt jede Aktualisierung von PRAGMA in mehrere Geschäftsbereiche – von der Betrugsprävention und dem Kreditwesen bis hin zu Marketing und Produkt – und verstärkt so kumulativ die KI-Qualität im gesamten Unternehmen. Datenwissenschaft-Teams profitieren von weniger Code-Duplikaten, einer einfacheren Governance und einer einheitlichen Überwachung, während das Unternehmen neue Märkte erschließen und neue Funktionen einführen kann, ohne seinen Stack für maschinelles Lernen von Grund auf neu erstellen zu müssen.

Revolut plant, PRAGMA um weitere multimodale Eingaben zu erweitern, ein kontinuierliches Pre-Training zu ermöglichen, damit das Modell kontinuierlicher aus neuen Ereignissen lernen kann, und die nachgelagerten Anwendungsfälle auf die Vorhersage des Lifetime Value, Abwanderungsprognosen und die Anomalieerkennung auszuweiten.

Auf App-Seite kuratiert Revolut eine modellgesteuerte Oberfläche, die sich in Echtzeit an das Verhalten jedes Benutzers anpasst. Auf der Infrastrukturseite prüft das Team die Integration von AutoML-Systemen, Einbettungs-Versionierung und eine vollständige Inferenz-Pipeline.

Mit Unterstützung der beschleunigten Computing- und Forschungszusammenarbeit von NVIDIA verwandelt Revolut seinen wachsenden Bestand an Verhaltensdaten in einen dauerhaften Wettbewerbsvorteil und definiert neu, wie eine KI-basierte globale Bank aussehen kann.