Methodologie, gemeten

Model Calibration Lab

Een record van picks vertelt je wat won. Kalibratie vertelt je of de probabilities echt iets betekenden: als we 60% zeggen, gebeurt het dan 60% van de tijd? Hieronder elke afgewikkelde voorspelling, op twee manieren gescoord — de sharp market (devigged) en ons eigen model — met de ongemakkelijke vergelijking in het volle zicht.

Afgewikkelde voorspellingen 4,538
Brier score 0.598

Ons model (Elo + vorm): 0.617

Log-loss 1.001

Ons model (Elo + vorm): 1.028

Kalibratiefout 0.8pp

Ons model (Elo + vorm): 0.4pp

Voorspelde probability vs geobserveerde frequentie

Elk punt is een probabilityband van 10 punten (min. 30 observaties). Hoe dichter bij de diagonaal, hoe beter gekalibreerd. Elke wedstrijd draagt bij met zijn drie uitkomsten.

Sharp market (devigged) Ons model (Elo + vorm) perfecte kalibratie
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Ons model (Elo + vorm) · 0–10%: 7.5% → 7.1% (n=112) Ons model (Elo + vorm) · 10–20%: 16.4% → 16.8% (n=1056) Ons model (Elo + vorm) · 20–30%: 26% → 25.9% (n=6205) Ons model (Elo + vorm) · 30–40%: 34.7% → 34.6% (n=2646) Ons model (Elo + vorm) · 40–50%: 44.8% → 43.9% (n=2047) Ons model (Elo + vorm) · 50–60%: 54.3% → 56% (n=1024) Ons model (Elo + vorm) · 60–70%: 63.9% → 64.3% (n=381) Ons model (Elo + vorm) · 70–80%: 74.1% → 75.2% (n=105) Ons model (Elo + vorm) · 80–90%: 83% → 88.2% (n=34) Sharp market (devigged) · 0–10%: 7.4% → 5.6% (n=270) Sharp market (devigged) · 10–20%: 16.2% → 17.5% (n=1657) Sharp market (devigged) · 20–30%: 25.3% → 25.1% (n=5261) Sharp market (devigged) · 30–40%: 34.3% → 33.6% (n=2748) Sharp market (devigged) · 40–50%: 44.8% → 43.9% (n=1680) Sharp market (devigged) · 50–60%: 54.6% → 56.2% (n=1077) Sharp market (devigged) · 60–70%: 64.4% → 63.9% (n=598) Sharp market (devigged) · 70–80%: 74.6% → 79.2% (n=240) Sharp market (devigged) · 80–90%: 83.7% → 86.1% (n=72)
Band Sharp market (devigged) — Voorspeld (gem.) Geobserveerd Obs. Ons model (Elo + vorm) — Voorspeld (gem.) Geobserveerd Obs.
0–10% 7.4% 5.6% 270 7.5% 7.1% 112
10–20% 16.2% 17.5% 1657 16.4% 16.8% 1056
20–30% 25.3% 25.1% 5261 26% 25.9% 6205
30–40% 34.3% 33.6% 2748 34.7% 34.6% 2646
40–50% 44.8% 43.9% 1680 44.8% 43.9% 2047
50–60% 54.6% 56.2% 1077 54.3% 56% 1024
60–70% 64.4% 63.9% 598 63.9% 64.3% 381
70–80% 74.6% 79.2% 240 74.1% 75.2% 105
80–90% 83.7% 86.1% 72 83% 88.2% 34

Lagere Brier score en log-loss zijn beter; kalibratiefout is de op observaties gewogen gemiddelde gap tussen voorspeld en geobserveerd. De eerlijke headline: de devigged sharp market is beter gekalibreerd dan ons model — en precies daarom prijst deze site alles tegen de market in plaats van modelvoorspellingen te verkopen. Methodologie: probabilities zoals weergegeven op het moment van logging, geen retro-fitting; uitkomsten uit officiële resultaten.

Volledige methodologie →
Nuttig gevonden? Stuur het door naar een vriend die inzet.