Metodika, měřeno

Model Calibration Lab

Záznam tipů vám řekne, co vyhrálo. Kalibrace říká, jestli ty pravděpodobnosti něco znamenaly: když řekneme 60%, stane se to v 60% případů? Níže každá vypořádaná predikce, hodnocená dvěma způsoby — sharp market (devigged) a náš model — s nepříjemným srovnáním na očích.

Vypořádané predikce 4,538
Brier score 0.598

Náš model (Elo + form): 0.617

Log-loss 1.001

Náš model (Elo + form): 1.028

Kalibrační chyba 0.8pp

Náš model (Elo + form): 0.4pp

Predikovaná pravděpodobnost vs skutečná frekvence

Každý bod je 10bodové pásmo pravděpodobnosti (min. 30 pozorování). Čím blíž diagonále, tím lepší kalibrace. Každý zápas přispívá všemi třemi výsledky.

Sharp market (devigged) Náš model (Elo + form) dokonalá kalibrace
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Náš model (Elo + form) · 0–10%: 7.5% → 7.1% (n=112) Náš model (Elo + form) · 10–20%: 16.4% → 16.8% (n=1056) Náš model (Elo + form) · 20–30%: 26% → 25.9% (n=6205) Náš model (Elo + form) · 30–40%: 34.7% → 34.6% (n=2646) Náš model (Elo + form) · 40–50%: 44.8% → 43.9% (n=2047) Náš model (Elo + form) · 50–60%: 54.3% → 56% (n=1024) Náš model (Elo + form) · 60–70%: 63.9% → 64.3% (n=381) Náš model (Elo + form) · 70–80%: 74.1% → 75.2% (n=105) Náš model (Elo + form) · 80–90%: 83% → 88.2% (n=34) Sharp market (devigged) · 0–10%: 7.4% → 5.6% (n=270) Sharp market (devigged) · 10–20%: 16.2% → 17.5% (n=1657) Sharp market (devigged) · 20–30%: 25.3% → 25.1% (n=5261) Sharp market (devigged) · 30–40%: 34.3% → 33.6% (n=2748) Sharp market (devigged) · 40–50%: 44.8% → 43.9% (n=1680) Sharp market (devigged) · 50–60%: 54.6% → 56.2% (n=1077) Sharp market (devigged) · 60–70%: 64.4% → 63.9% (n=598) Sharp market (devigged) · 70–80%: 74.6% → 79.2% (n=240) Sharp market (devigged) · 80–90%: 83.7% → 86.1% (n=72)
Pásmo Sharp market (devigged) — Predikováno (prům.) Skutečnost Obs. Náš model (Elo + form) — Predikováno (prům.) Skutečnost Obs.
0–10% 7.4% 5.6% 270 7.5% 7.1% 112
10–20% 16.2% 17.5% 1657 16.4% 16.8% 1056
20–30% 25.3% 25.1% 5261 26% 25.9% 6205
30–40% 34.3% 33.6% 2748 34.7% 34.6% 2646
40–50% 44.8% 43.9% 1680 44.8% 43.9% 2047
50–60% 54.6% 56.2% 1077 54.3% 56% 1024
60–70% 64.4% 63.9% 598 63.9% 64.3% 381
70–80% 74.6% 79.2% 240 74.1% 75.2% 105
80–90% 83.7% 86.1% 72 83% 88.2% 34

Nižší Brier a log-loss jsou lepší; kalibrační chyba je průměrná odchylka vážená pozorováními mezi predikcí a skutečností. Upřímný závěr: devigged sharp market je kalibrovaný lépe než náš model — právě proto tento web oceňuje všechno proti trhu místo toho, aby vám prodával modelové predikce. Metodika: pravděpodobnosti podle stavu při záznamu, bez zpětného ladění; výsledky z oficiálních výsledků.

Plná metodika →
Bylo to užitečné? Pošli to kamarádovi, který sází.