De sleutels om inzicht te krijgen in de statistieken van de fraudebestrijdingstools van Meelo

Laten we onze onderdompeling achter de schermen van de Meelo-oplossing voortzetten met een focus op de evaluatiestatistieken die worden gebruikt in onze antifraudehulpmiddelen. Hoewel de Gini-index een historische en erkende standaard blijft in de banksector, dwingt ons streven naar steeds efficiëntere en verantwoordelijkere detectie ons om verder te gaan en de meest relevante marktstatistieken te integreren. Met dit in gedachten hebben we ervoor gekozen om, naast de Gini, een nog fijnere maatstaf te gebruiken bij de probabilistische lezing: de Brier Score. Ons doel? Bied u een nauwkeurige lezing van uw voorspellingen en meer vertrouwen in uw besluitvorming. Uitleg!

‍

Confusiematrix, ROC-curve en AUC: de basis voor evaluatie van machine learning

‍

Om de prestaties van onze fraudedetectietools te beoordelen, vertrouwen we op de verwarringsmatrix, van waaruit we bouwen en analyseren de ROC-curve (Operationele karakteristiek van de ontvanger) en de bijbehorende indicator, deAUC (Gebied onder de curve).

‍

La verwarringsmatrix stelt ons in staat om eerst de vier mogelijke scenario's in een binaire classificatietaak te visualiseren.

‍

Wat is een binaire classificatietaak?

Dit komt neer op het bouwen van een model dat in staat is om een situatie in twee mogelijke categorieën in te delen: „ja” of „nee”.

‍

Neem het geval van COVID-19-testen ten tijde, gelukkig voorbij, van de pandemie. De tests zouden vier mogelijke scenario's kunnen opleveren:

‍

• Echt positief: de persoon had COVID en de test was positief.
• Echt negatief: de persoon had geen COVID en de test was negatief.
• Vals-positief: de persoon had geen COVID, maar de test was positief.
• Vals-negatief: de persoon had COVID, maar de test was negatief.

‍

Omgekeerd naar de opsporing van fraude is dat precies hetzelfde principe. We proberen individuen in te delen in de categorieën: „fraudeurs” of „niet-fraudeurs”, zoals hierboven met de categorieën „" ziek "” of „" niet ziek "”.” En dat terwijl je zo min mogelijk classificatiefouten maakt.

‍

Bij Meelo is het ons doel om :

- detecteer zoveel mogelijk echte positieven — bewezen fraudeurs;

- probeer valse positieven tot een minimum te beperken — klanten die ten onrechte als fraudeurs zijn geïdentificeerd;

- en laat vooral geen valse negatieven voorbijgaan — fraudeurs die niet als zodanig zijn geïdentificeerd.

‍

Uit de verwarringsmatrix kunnen we sleutelindicatoren berekenen, zoals ROC-curve (Operationeel kenmerk van de ontvanger), dat grafisch de afwegingen illustreert tussen fraudedetectie (het werkelijke positieve percentage of correct ontdekte fraude) en waarschuwingsfouten (het percentage valse positieven, met andere woorden legitieme transacties die onjuist zijn gerapporteerd) voor verschillende beslissingsdrempels.

‍

Door de beslissingsdrempels of „waarschuwingsdrempels” te variëren (aangezien de gevoeligheid van de COVID-test om het virus te detecteren zou kunnen variëren), verkrijgen we verschillende punten op de curve, die de prestaties van het model in verschillende scenario's weerspiegelen.

‍

DEAUC (Gebied onder de curve), of” Oppervlakte onder de curve ” meet in het Frans het gebied onder de ROC-curve. De AUC kan een waarde tussen 0,5 en 1 geven en geeft het algemene vermogen van het model weer om fraude te onderscheiden van normale transacties, rekening houdend met alle beslissingsdrempels. Hoe dichter de AUC bij 1 ligt, hoe beter de prestaties van het model. Een AUC van 0,5 zou erop wijzen dat het model het niet beter zou doen dan toeval, zoals een simpele muntwissel.

‍

Van AUC naar Gini, er is maar één stap...

‍

De Gini-coëfficiënt is afgeleid van AUC. Terwijl de AUC een waarde tussen 0,5 en 1 aanneemt, normaliseert Gini deze meting om te variëren tussen 0 en 1, wat vaak intuïtiever is. Wiskundig gezien wordt de Gini berekend op basis van de AUC volgens de formule:

Gini = 2 × AUC − 1

‍

De Gini varieert dus tussen 0 en 1 (of 0% en 100%). Hoe hoger het is, hoe beter de discriminatiekracht van het model. Net als de AUC komt een Gini-coëfficiënt van 0,5 (50%) overeen met een willekeurig model (munt of munt), terwijl een Gini van 1 (100%) een perfect model is.

‍

De Gini-coëfficiënt is een veelgebruikte maatstaf, vooral in de banksector, om de algemene effectiviteit van een scoremodel te beoordelen.

‍

Ondanks zijn populariteit heeft het echter een cruciale beperking. Het richt zich voornamelijk op het algemene vermogen van het model om onderscheid te maken tussen „goede” en „slechte” profielen, zonder rekening te houden met de onbalans tussen klassen, de verdeling van waarschijnlijkheidsscores of het vertrouwen dat in elke individuele voorspelling kan worden gesteld.

‍

In gevallen waarin de klassen zeer onevenwichtig zijn (bijvoorbeeld 99% negatief en 1% positief), kan de Gini de prestaties van het model overschatten. Dit is precies wat we zien bij de meeste problemen die onze klanten tegenkomen. Gelukkig zijn de fraudepercentages laag: vaak ongeveer 1 tot 2% van de transacties.

‍

Gini geeft dus een goede algemene indicatie van de effectiviteit van een model, maar beperkt zich tot een ruwe visie op prestaties, zonder rekening te houden met de verklaarbaarheid van de voorspellingen.

Daarom heeft Meelo ervoor gekozen om naast Gini nog een andere statistiek in zijn tools te integreren: de Brier Score.

‍

Aan Gini en daarbuiten... dankzij de Brier Score!

‍

In tegenstelling tot Gini, dat het vermogen van het model meet om goede en slechte profielen van elkaar te scheiden, is de Score van Brier Evalueer of onze waarschijnlijkheidsscores dicht bij de realiteit liggen. Als ons model bijvoorbeeld een kans van 80% op fraude voorspelt, wordt de Score van Brier controleert gemiddeld in 8 van de 10 gevallen of dit soort zaken daadwerkelijk frauduleus zijn.

‍

Laten we ons twee modellen voorstellen met een equivalente Gini-coëfficiënt. De eerste kent zeer duidelijke scores toe (bijna 0 of 100%), terwijl de laatste het merendeel van zijn voorspellingen concentreert op een grijs gebied (tussen bijvoorbeeld tussen 40 en 60%). Hoewel hun capaciteit om wereldwijd te discrimineren misschien vergelijkbaar is, wekt het eerste model meer vertrouwen omdat het betrouwbaarder lijkt in zijn beslissingen.

‍

Het is precies deze notie van betrouwbaarheid dat de Score van Brier meet door het verschil te evalueren tussen de door het model voorspelde kans (bijvoorbeeld 80% risico) en het waargenomen resultaat (0 of 1). Hoe kleiner deze kloof, hoe consistenter en dichter de voorspellingen bij de werkelijkheid liggen.

‍

Wat zijn de voordelen van de Brier Score?

Bij Meelo zijn we overtuigd van de Relevantie van de Brier-score. Dankzij deze krachtige statistiek:

• onze beslissingen zijn beter geïnformeerd, omdat we niet alleen de goede van de slechte scheiden, we beoordelen de zekerheid van elke voorspelling;
• we genereren minder „grijze gebieden” ”: het optimaliseren van de Brier-score stimuleert onze modellen om extremere scores te genereren, waardoor risico's en aanvullende controles worden verminderd, wat synoniem is met kosten en frictie in het klanttraject;
• onze aanpak is nog ethischer : conservatief beleid wordt zoveel mogelijk vermeden dankzij scherpere beslissingen die gebaseerd zijn op een echte overtuiging van het risico;
• onze gebruikers zijn meer tevreden : door Gini een complementair perspectief te bieden, stelt de Brier Score onze klanten in staat om de betrouwbaarheid en spreiding van fraudescores beter te begrijpen.
• ‍

En de Brier Skill Score, Kézaco?

Om de interpretatie van te vergemakkelijken Score van Brier, we gebruiken vaak de Brier vaardigheidsscore (LAAG). De BSS meet of ons voorspellingsmodel beter is dan een eenvoudig referentiemodel. Hoe hoger de score, hoe nauwkeuriger ons model is in zijn voorspellingen. Dit is onze manier om te bevestigen dat ons model echt toegevoegde waarde biedt aan onze klanten.

‍

Evaluatiestatistieken optimaliseren: de resultaten spreken voor zich

‍

Tijdens de hertraining van onze modellen maakte de integratie van de Brier Score het mogelijk om onze prestaties aanzienlijk te verbeteren. Bij dezelfde gegevens ging de score van 35 naar iets meer dan 60 punten, d.w.z. Een winst van 30 punten.

We identificeren dus meer fraude op een meer formele manier. Deze aanpak garandeert de betrouwbaarheid van onze voorspellingen en vermindert het risico dat het model zich instabiel gedraagt tegenover atypische profielen.

‍

Bij Meelo zijn we ervan overtuigd dat de prestaties van een fraudedetectiemodel niet beperkt zijn tot het vermogen om wereldwijd te discrimineren. Door verder te gaan dan de standaardindicatoren, bouwen we solide vertrouwen op door middel van echt geïnformeerde fraudedetectie en bieden we onze klanten een oplossing die zowel efficiënt als verantwoord is.

‍