Nutzung von Sprachmodellen für die Aufsicht – Financial institution Underground

Adam Muhtar und Dragos Gorduza

Stellen Sie sich eine Welt vor, in der Maschinen Menschen dabei unterstützen, sich in komplexen Finanzregeln zurechtzufinden. Was einst weit hergeholt struggle, wird schnell Realität, insbesondere mit der Entstehung einer Klasse von Deep-Studying-Modellen, die auf der Transformer-Architektur basieren (Vaswani et al (2017)), die in jüngster Zeit ein völlig neues Paradigma in der Sprachmodellierung darstellen. Diese Modelle bilden die Grundlage revolutionärer Technologien wie großer Sprachmodelle (LLMs) und eröffnen Regulierungsbehörden wie der Financial institution of England neue Möglichkeiten, Textdaten für die Aufsicht und Regulierung zu analysieren.

Die Analyse von Textdaten ist ein zentraler Bestandteil der täglichen Arbeit der Regulierungsbehörden. So erhalten Aufsichtsbehörden beispielsweise große Mengen an Dokumenten von regulierten Unternehmen, die sie sorgfältig prüfen, um die verschiedenen Anforderungen der Finanzregulierung zu triangulieren, etwa um die Einhaltung sicherzustellen und Risikobereiche zu identifizieren. Ein weiteres Beispiel: Die Entscheidungsträger der Aufsichtsbehörden erstellen regelmäßig Dokumente wie Richtlinien und Richtlinien zu Berichtspflichten, die ebenfalls auf die Finanzregulierung verweisen müssen, um Konsistenz und klare Kommunikation zu gewährleisten. Dieses häufige Querverweisen und Abrufen von Informationen aus Dokumentensätzen kann eine mühsame und zeitaufwändige Aufgabe sein, bei der das in diesem Artikel vorgeschlagene maschinelle Lernmodell möglicherweise helfen könnte.

Bei der Lösung dieses Issues mit herkömmlichen Methoden der Schlüsselwortsuche wird die der natürlichen Sprache innewohnende Variabilität, Mehrdeutigkeit und Komplexität oft nicht berücksichtigt. Hier kommt die neueste Era von Sprachmodellen ins Spiel. Transformer-basierte Modelle nutzen einen neuartigen „Selbstaufmerksamkeitsmechanismus“ (Vaswani et al (2017)), wodurch Maschinen inhärente Beziehungen zwischen Wörtern in einem bestimmten Textual content abbilden und so die zugrunde liegende Bedeutung natürlicher Sprache auf eine ausgefeiltere Weise erfassen können. Dieser maschinelle Lernansatz zur Abbildung der Funktionsweise von Sprache könnte möglicherweise im regulatorischen und politischen Kontext angewendet werden und als automatisierte Systeme fungieren, die Aufsichtsbehörden und politische Entscheidungsträger dabei unterstützen, Dokumente zu sichten, um relevante Informationen basierend auf den Anforderungen des Benutzers abzurufen. In diesem Artikel untersuchen wir, wie wir diese Technologie nutzen und sie auf eine Nische und einen komplexen Bereich wie die Finanzregulierung anwenden könnten.

Transformation der Finanzaufsicht mit Transformers
Transformer-basierte Modelle gibt es in drei verschiedenen Varianten: Encoder, Decoder und Sequenz-zu-Sequenz (in diesem Artikel konzentrieren wir uns auf die ersten beiden). Viele der bekannten LLMs wie die Modelle Llama, Gemini oder GPT sind Decoder-Modelle, die mit aus dem Web bezogenen Texten trainiert und für die Generierung generischer Texte entwickelt wurden. Sie sind zwar beeindruckend, neigen aber dazu, ungenaue Informationen zu generieren, ein Phänomen, das als „Modellhalluzination“ bekannt ist, wenn sie in hochtechnischen, komplexen und spezialisierten Bereichen wie der Finanzregulierung verwendet werden.

Eine Lösung für Modellhalluzinationen besteht darin, die Antwort eines LLM zu verankern, indem dem Modell mithilfe einer Technik namens „Retrieval Augmented Era“ (RAG) echte und genaue Fakten zum Thema bereitgestellt werden. Hier spielen Transformer-Encoder eine nützliche Rolle. Encoder-Modelle können mit einem sachkundigen Führer verglichen werden: Mit dem entsprechenden Coaching sind Encoder in der Lage, Texte mit ähnlicher inhärenter Bedeutung in numerische Darstellungen dieser Texte (in der Branche als „Embeddings“ bezeichnet) zu gruppieren, die zusammen gruppiert sind. Diese Embeddings ermöglichen es uns, mathematische Operationen an natürlicher Sprache durchzuführen, wie z. B. das Indizieren und Durchsuchen von Embeddings nach der besten Übereinstimmung für eine bestimmte Suchanfrage.

Abbildung 1: Semantische Suche mit Transformer Encoder Modellen (Darstellung des Encoders basierend auf Vaswani et al (2017))

Ein RAG-Framework würde zunächst einen Encoder verwenden, um eine semantische Suche nach den relevanten Informationen durchzuführen, und dann die Ausgaben an einen Decoder wie GPT weiterleiten, um die entsprechende Antwort anhand der bereitgestellten Ausgabe zu generieren. Die Verwendung von Transformer-Encodern eröffnet neue Möglichkeiten für kontextbewusstere Anwendungen.

Lücken an der Schnittstelle zwischen KI und Finanzregulierung
Zum Erstellen dieses regulierungswissensbasierten Leitfadens ist ein Transformer-Encoder-Modell erforderlich, das anhand eines Textkorpus aus dem jeweiligen Fachgebiet trainiert wird. Die meisten Open-Supply-Encoder-Modelle werden jedoch entweder anhand allgemeiner Domänentexte trainiert (z. B. BERT, RoBERTa, XLNet, MPNet), die wahrscheinlich alle kein tiefes Verständnis der Finanzvorschriften aufweisen. Es gibt auch Modelle wie FinBERT, die anhand von Finanznachrichtentexten trainiert und auf Finanzen abgestimmt sind. Diesen Modellen fehlt jedoch immer noch das tiefe technische Verständnis, da während des Modelltrainings keine domänenspezifischen Texte zu Finanzvorschriften erforderlich sind. Um ein umfassendes Verständnis der Vorschriften zu ermöglichen, ist ein neuer Typ von fein abgestimmtem Modell erforderlich, das direkt anhand von Vorschriften trainiert wird.

Finanzvorschriften sind komplexe Texte, was ihr Vokabular, ihre Syntax und ihr Netzwerk von Zitaten betrifft. Diese Komplexität stellt eine erhebliche Herausforderung bei der Anpassung von Sprachmodellen für die Finanzaufsicht dar. Ein weiteres Hindernis ist der Mangel an leicht verfügbaren maschinenlesbaren Datensätzen wichtiger Finanzvorschriften, wie beispielsweise des Baseler Rahmenwerks. Die Erstellung dieses Datensatzes ist an sich schon ein wertvolles Forschungsergebnis, das dazu beitragen könnte, zukünftige Innovationen in diesem Bereich voranzutreiben und möglicherweise eine wesentliche Grundlage für die Entwicklung anderer domänenspezifischer Modelle für die Finanzregulierung zu bilden.

PRET: Transformatoren zur Einbettung von Aufsichtsvorschriften
Derzeit wird ein Pionierprojekt unternommen, um diese Lücke zu schließen. Dazu wird ein domänenangepasstes Modell namens Prudential Regulation Embeddings Transformer (PRET) entwickelt, das speziell auf die Finanzaufsicht zugeschnitten ist. PRET ist eine Initiative zur Verbesserung der Präzision der semantischen Informationsbeschaffung im Bereich der Finanzregulierung. Die Neuheit von PRET liegt in seinem Trainingsdatensatz: web-scraped Regeln und Vorschriften aus dem Baseler Rahmenwerk, die vorverarbeitet und in ein maschinenlesbares Korpus umgewandelt werden, gekoppelt mit LLM-generiertem synthetischem Textual content. Dieser zielgerichtete Ansatz bietet PRET ein tiefes und differenziertes Verständnis der Sprache des Baseler Rahmenwerks, das von umfassenderen Modellen übersehen wird.

Bei unserer Untersuchung der Nutzung von KI für die Finanzaufsicht sind wir uns bewusst, dass unser Ansatz mit PRET experimentell ist. Eine wichtige Komponente bei der Entwicklung von PRET ist ein Schritt zur Feinabstimmung des Modells, um die Leistung bei einer bestimmten Aufgabe zu optimieren: dem Informationsabruf. Dieser Schritt verwendet eine Technik, die als generative Pseudokennzeichnung bekannt ist (wie in Wang et al (2022)), was beinhaltet:

• Erstellen eines synthetischen Eintrags – additionally des vom LLM generierten Textes wie Fragen, Zusammenfassungen oder Aussagen – zu einer bestimmten fraglichen Finanzregel, nach der Benutzer hypothetisch fragen könnten.
• Die betreffende Finanzregel wird standardmäßig zur „richtigen“ Antwort, relativ zum synthetisch generierten Textual content.
• Koppeln Sie die beiden vorherigen Paare mit „falschen“ Antworten – additionally nicht verwandten Regeln aus anderen Kapiteln –, um das Modell zu trainieren, zu erkennen, welche Antworten richtig und welche falsch sind.

Da es keine von Menschen generierten Frage-Antwort-Datensätze in ausreichender Größe gibt, um dieses Modell zu trainieren, verlassen wir uns auf vorhandene LLMs, um diese Datensätze synthetisch zu generieren. Das Trainingsziel unseres Modells besteht darin, eine Zuordnung zwischen den verschiedenen Eingaben zu erstellen, die ein Benutzer möglicherweise stellen könnte, mit den richtigen Informationen, die für die Eingabe des Benutzers related sind, d. h. ein semantisches Suchmodell. Zu diesem Zweck zielt das Modell darauf ab, den Unterschied zwischen der synthetisch generierten „Abfrage“ und dem „Positiven“ zu minimieren und gleichzeitig den Unterschied zwischen der „Abfrage“ und dem „Negativen“ zu maximieren, wie in Abbildung 2 dargestellt. Dies entspricht visuell dem Annähern des Positiven und der Abfrage an die gleiche Stelle wie möglich, während die Abfrage und das Damaging so weit voneinander entfernt wie möglich sind.

Abbildung 2: Feinabstimmung des Trainingsziels

Dies ist eine ausgeklügelte Methode, um unser Modell zu trainieren, (i) zwischen eng verwandten Informationen zu unterscheiden und (ii) sicherzustellen, dass es Abfragen effektiv den richtigen Teilen des Regulierungstexts zuordnen kann. Durch die Maximierung der Leistung im Hinblick auf dieses Ziel kann PRET die Punkte zwischen Regulierungstext und zugehörigen Zusammenfassungen, Fragen oder Aussagen verbinden. Dieser Feinabstimmungsprozess des Modells verbessert nicht nur seine Fähigkeit, Finanzterminologie zu verstehen, sondern zielt auch darauf ab, seine Wirksamkeit bei der genauen Identifizierung und dem Zugriff auf die erforderlichen Informationen zu verbessern.

KI und die Zukunft der Aufsicht und Regulierung
Die potenziellen Vorteile solcher Systeme – höhere Effizienz und die Fähigkeit, sich schnell durch komplexe Regulierungstexte zu navigieren – zeichnen ein vielversprechendes Bild für die Zukunft. Dennoch sind wir uns bewusst, dass noch ein langer Weg vor uns liegt, der die Schwierigkeit beinhaltet, zu beurteilen, ob die Interpretation solcher Modelle „oberflächlich“ (d. h. eine oberflächliche Abbildung der Regeln) oder „tief“ (d. h. ein Verständnis der zugrunde liegenden Prinzipien, die diesen Regeln zugrunde liegen) erfolgt. Die Unterscheidung ist entscheidend; während KI-Systeme wie diese den Menschen durch Skalierbarkeit und Geschwindigkeit unterstützen können, bleibt ihre Fähigkeit, die grundlegenden Konzepte zu verstehen, die moderne Finanzregulierungsrahmen verankern, Gegenstand intensiver Studien und Debatten. Darüber hinaus werden alle KI-basierten Instruments, die zur Unterstützung von Aufsichtsbehörden und politischen Entscheidungsträgern entwickelt werden, vor ihrem Einsatz in realen Szenarien angemessenen und strengen Assessments unterzogen.

Die Entwicklung von PRET ist ein erster Schritt zum Aufbau von Modellen, die an die Anwendungsfälle von Zentralbanken und Regulierungsbehörden angepasst sind und die wir auf weitere Dokumentensätze wie andere Texte zur Finanzregulierung, Strategiepapiere und regulatorische Erklärungen ausweiten können, um nur einige zu nennen. Durch Bemühungen wie diese hoffen wir, die jüngsten technologischen Entwicklungen zu nutzen, um die Fähigkeiten von Aufsichtsbehörden und politischen Entscheidungsträgern zu unterstützen und zu erweitern. Auf diesem Weg ist PRET sowohl ein Meilenstein als auch ein Ausgangspunkt und ebnet den Weg in eine Zukunft, in der Maschinen die Regulierungsbehörden in einem komplexen und Nischenbereich wie der Aufsicht und Regulierung unterstützen können.

Adam Muhtar arbeitet in der Abteilung RegTech, Daten und Innovation der Financial institution und Dragos Gorduza ist Doktorand an der Universität Oxford.

Wenn Sie Kontakt mit uns aufnehmen möchten, senden Sie uns bitte eine E-Mail an bankunderground@bankofengland.co.uk oder hinterlassen Sie unten einen Kommentar.

Kommentare erscheinen erst nach Genehmigung durch einen Moderator und werden nur veröffentlicht, wenn der vollständige Identify angegeben ist. Financial institution Underground ist ein Weblog für Mitarbeiter der Financial institution of England, in dem sie Ansichten austauschen können, die vorherrschende politische Orthodoxien in Frage stellen – oder unterstützen. Die hier geäußerten Ansichten sind die der Autoren und entsprechen nicht notwendigerweise denen der Financial institution of England oder ihrer politischen Ausschüsse.