Die Schlüssel zum Verständnis der Kennzahlen der Meelo-Betrugsbekämpfungstools

Lassen Sie uns weiter hinter die Kulissen der Meelo-Lösung eintauchen und uns dabei auf die Bewertungsmetriken konzentrieren, die in unseren Tools zur Betrugsbekämpfung verwendet werden. Der Gini-Index ist zwar nach wie vor ein historischer und anerkannter Standard im Bankensektor, aber unser Engagement für eine immer effizientere und verantwortungsvollere Erkennung veranlasst uns, noch einen Schritt weiter zu gehen und die relevantesten Marktkennzahlen zu integrieren. Vor diesem Hintergrund haben wir uns entschieden, zusätzlich zum Gini ein noch feineres probabilistisches Maß zu verwenden: den Brier Score. Unser Ziel? Wir bieten Ihnen ein genaues Ablesen Ihrer Prognosen und mehr Vertrauen in Ihre Entscheidungsfindung. Erklärungen!

‍

Konfusionsmatrix, ROC-Kurve und AUC: Die Grundlagen der Bewertung des maschinellen Lernens

‍

Um die Leistung unserer Tools zur Betrugserkennung zu beurteilen, stützen wir uns auf die Konfusionsmatrix, aus dem wir bauen und analysieren ROC-Kurve (Betriebscharakteristik des Empfängers) und die zugehörige Anzeige, dieAUC (Bereich unter der Kurve).

‍

La Konfusionsmatrix ermöglicht es uns zunächst, die vier möglichen Szenarien in einer binären Klassifikationsaufgabe zu visualisieren.

‍

Was ist eine binäre Klassifikationsaufgabe?

Dies läuft darauf hinaus, ein Modell zu erstellen, mit dem eine Situation in zwei mögliche Kategorien eingeteilt werden kann: „Ja“ oder „Nein“.

‍

Nehmen wir den Fall der COVID-19-Tests zum Zeitpunkt der Pandemie, die glücklicherweise vorbei ist. Die Tests könnten vier mögliche Szenarien ergeben:

‍

• Richtig positiv: Die Person hatte COVID und der Test war positiv.
• Richtig negativ: Die Person hatte kein COVID und der Test war negativ.
• Falsch positiv: Die Person hatte kein COVID, aber der Test war positiv.
• Falsch negativ: Die Person hatte COVID, aber der Test war negativ.

‍

In Bezug auf die Aufdeckung von Betrug gilt genau das gleiche Prinzip. Wir versuchen, Personen in die Kategorien „Betrüger“ oder „Nichtbetrüger“ einzuteilen, wie oben mit den Kategorien „krank“ oder „nicht krank“. Und das, während wir so wenig Klassifizierungsfehler wie möglich machen.

‍

Unser Ziel bei Meelo ist :

- so viele echte positive Ergebnisse wie möglich aufdecken — nachgewiesene Betrüger;

- versuchen, Fehlalarme zu minimieren — Kunden, die fälschlicherweise als Betrüger identifiziert wurden;

— und vor allem: Lassen Sie keine falschen Negative durchgehen — Betrüger, die nicht als solche identifiziert werden.

‍

Aus der Konfusionsmatrix können wir Schlüsselindikatoren berechnen, wie ROC-Kurve (Receiver Operating Characteristic), das die Kompromisse zwischen Betrugserkennung (die wahre positive Rate oder korrekt erkannter Betrug) und Warnfehlern (die Falsch-Positiv-Rate, d. h. legitime Transaktionen, die falsch gemeldet wurden) für verschiedene Entscheidungsschwellen grafisch veranschaulicht.

‍

Durch Variieren der Entscheidungs- oder „Alarmschwellenwerte“ (da man die Sensitivität des COVID-Tests zur Erkennung des Virus variieren könnte), erhalten wir verschiedene Punkte auf der Kurve, die die Leistung des Modells in verschiedenen Szenarien widerspiegeln.

‍

DASAUC (Fläche unter der Kurve), oder“ Fläche unter der Kurve “ auf Französisch, messen Sie die Fläche unter der ROC-Kurve. Da die AUC einen Wert zwischen 0,5 und 1 angeben kann, steht sie für die allgemeine Fähigkeit des Modells, Betrug von normalen Transaktionen zu unterscheiden, wobei alle Entscheidungsschwellen berücksichtigt werden. Je näher die AUC an 1 liegt, desto besser ist die Leistung des Modells. Eine AUC von 0,5 würde bedeuten, dass das Modell nicht besser abschneiden würde als der Zufall, beispielsweise ein einfacher Münzwurf.

‍

Von AUC zu Gini gibt es nur einen Schritt...

‍

Das Gini-Koeffizient wird von AUC abgeleitet. Während AUC einen Wert zwischen 0,5 und 1 annimmt, normalisiert Gini diese Messung, sodass sie zwischen 0 und 1 variiert, was oft intuitiver ist. Mathematisch wird der Gini anhand der AUC gemäß der folgenden Formel berechnet:

Gini = 2 × AUC − 1

‍

Der Gini variiert daher zwischen 0 und 1 (oder 0% und 100%). Je höher er ist, desto besser ist die Unterscheidungskraft des Modells. Wie die AUC entspricht ein Gini-Koeffizient von 0,5 (50%) einem Zufallsmodell (Münze oder Münze), während ein Gini-Wert von 1 (100%) ein perfektes Modell darstellt.

‍

Das Gini-Koeffizient ist eine weit verbreitete Kennzahl, insbesondere im Bankensektor, zur Bewertung der Gesamteffektivität eines Bewertungsmodells.

‍

Trotz seiner Beliebtheit weist es jedoch eine entscheidende Einschränkung auf. Es konzentriert sich in erster Linie auf die allgemeine Fähigkeit des Modells, zwischen „guten“ und „schlechten“ Profilen zu unterscheiden, ohne das Ungleichgewicht zwischen den Klassen, die Verteilung der Wahrscheinlichkeitswerte oder das Vertrauen zu berücksichtigen, das jeder einzelnen Vorhersage entgegengebracht werden kann.

‍

In Fällen, in denen die Klassen stark unausgewogen sind (z. B. 99% negativ und 1% positiv), kann der Gini die Leistung des Modells überschätzen. Genau das beobachten wir bei den meisten Problemen unserer Kunden. Zum Glück sind die Betrugsraten niedrig: oft etwa 1 bis 2% der Transaktionen.

‍

Gini gibt daher einen guten Gesamtindikator für die Wirksamkeit eines Modells, beschränkt sich jedoch auf eine rohe Vorstellung der Leistung, ohne die Erklärbarkeit der Vorhersagen zu berücksichtigen.

Aus diesem Grund hat Meelo beschlossen, zusätzlich zu Gini eine weitere Metrik in seine Tools zu integrieren: den Brier Score.

‍

An Gini und darüber hinaus... dank dem Brier Score!

‍

Im Gegensatz zu Gini, das die Fähigkeit des Modells misst, gute und schlechte Profile zu trennen, Kurzer Punktestand Beurteilen Sie, ob unsere Wahrscheinlichkeitswerte der Realität nahe kommen. Wenn unser Modell beispielsweise eine Betrugswahrscheinlichkeit von 80% vorhersagt, Kurzer Punktestand prüft in 8 von 10 Fällen, ob ein solcher Fall im Durchschnitt tatsächlich betrügerisch ist.

‍

Stellen wir uns zwei Modelle mit einem äquivalenten Gini-Koeffizienten vor. Ersteres weist sehr klare Werte zu (nahe 0 oder 100%), während das letztere den Großteil seiner Vorhersagen auf einen Graubereich konzentriert (beispielsweise zwischen 40 und 60%). Obwohl ihre Fähigkeit zur globalen Diskriminierung vergleichbar sein mag, erweckt das erste Modell mehr Vertrauen, da es in seinen Entscheidungen zuverlässiger zu sein scheint.

‍

Genau dieser Begriff der Zuverlässigkeit ist es, den Kurzer Punktestand misst, indem die Differenz zwischen der vom Modell vorhergesagten Wahrscheinlichkeit (z. B. 80% Risiko) und dem beobachteten Ergebnis (0 oder 1) bewertet wird. Je kleiner diese Lücke ist, desto konsistenter und näher sind die Vorhersagen an der Realität.

‍

Was sind die Vorteile des Brier Score?

Bei Meelo sind wir überzeugt von Relevanz des Brier-Scores. Dank dieser leistungsstarken Metrik:

• unsere Entscheidungen sind fundierter, weil wir nicht nur die guten von den schlechten unterscheiden, sondern die Sicherheit jeder Vorhersage bewerten;
• wir erzeugen weniger „Grauzonen“ “: Durch die Optimierung des Brier-Scores erzielen unsere Modelle extremere Punktzahlen, wodurch Risiken und zusätzliche Kontrollen reduziert werden, die gleichbedeutend mit Kosten und Reibungen in der Kundenreise sind;
• unser Ansatz ist noch ethischer : konservative Maßnahmen werden dank schärferer Entscheidungen, die auf einer echten Risikoüberzeugung beruhen, so weit wie möglich vermieden;
• unsere Nutzer sind zufriedener : Der Brier Score bietet Gini eine ergänzende Perspektive und ermöglicht es unseren Kunden, die Zuverlässigkeit und Verteilung der Betrugsbewertungen besser zu verstehen.
• ‍

Und der Brier Skill Score, Kézaco?

Zur Erleichterung der Interpretation von Kurzer Punktestand, wir verwenden oft die Brier Skill Score (NIEDRIG). Das BSS misst, ob unser Prognosemodell besser ist als ein einfaches Referenzmodell. Je höher die Punktzahl, desto genauer sind die Vorhersagen unseres Modells. Auf diese Weise bestätigen wir, dass unser Modell unseren Kunden wirklich einen Mehrwert bietet.

‍

Optimierung der Bewertungsmetriken: Die Ergebnisse sprechen für sich

‍

Während des erneuten Trainings unserer Modelle ermöglichte die Integration des Brier Score eine deutliche Verbesserung unserer Leistung. Bei den gleichen Daten stieg der Score von 35 auf knapp über 60 Punkte, d.h. Ein Gewinn von 30 Punkten.

Wir identifizieren also mehr Betrug auf formellere Weise. Dieser Ansatz garantiert die Zuverlässigkeit unserer Vorhersagen und verringert das Risiko, dass sich das Modell angesichts atypischer Profile instabil verhält.

‍

Wir bei Meelo sind davon überzeugt, dass die Leistung eines Betrugserkennungsmodells nicht auf seine Fähigkeit beschränkt ist, weltweit zu diskriminieren. Indem wir über Standardindikatoren hinausgehen, bauen wir durch eine wirklich informierte Betrugserkennung solides Vertrauen auf und bieten unseren Kunden eine Lösung, die sowohl effizient als auch verantwortungsbewusst ist.

‍