Metodologija, mjerena

Laboratorij za kalibraciju modela

Evidencija odabira kaže vam što je prošlo. Kalibracija kaže imaju li vjerojatnosti uopće smisla: kad kažemo 60%, događa li se to 60% vremena? Ispod je svaka zaključana prognoza, ocijenjena na dva načina — sharp market (devigged) i naš model — s neugodnom usporedbom na otvorenom.

Zaključane prognoze 4,538
Brier score 0.598

Naš model (Elo + forma): 0.617

Log-loss 1.001

Naš model (Elo + forma): 1.028

Kalibracijska pogreška 0.8pp

Naš model (Elo + forma): 0.4pp

Predviđena vjerojatnost naspram stvarne frekvencije

Svaka točka je raspon vjerojatnosti od 10 bodova (min. 30 opažanja). Što je bliže dijagonali, to je kalibracija bolja. Svaka utakmica doprinosi svoja tri ishoda.

Sharp market (devigged) Naš model (Elo + forma) savršena kalibracija
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Naš model (Elo + forma) · 0–10%: 7.5% → 7.1% (n=112) Naš model (Elo + forma) · 10–20%: 16.4% → 16.8% (n=1056) Naš model (Elo + forma) · 20–30%: 26% → 25.9% (n=6205) Naš model (Elo + forma) · 30–40%: 34.7% → 34.6% (n=2646) Naš model (Elo + forma) · 40–50%: 44.8% → 43.9% (n=2047) Naš model (Elo + forma) · 50–60%: 54.3% → 56% (n=1024) Naš model (Elo + forma) · 60–70%: 63.9% → 64.3% (n=381) Naš model (Elo + forma) · 70–80%: 74.1% → 75.2% (n=105) Naš model (Elo + forma) · 80–90%: 83% → 88.2% (n=34) Sharp market (devigged) · 0–10%: 7.4% → 5.6% (n=270) Sharp market (devigged) · 10–20%: 16.2% → 17.5% (n=1657) Sharp market (devigged) · 20–30%: 25.3% → 25.1% (n=5261) Sharp market (devigged) · 30–40%: 34.3% → 33.6% (n=2748) Sharp market (devigged) · 40–50%: 44.8% → 43.9% (n=1680) Sharp market (devigged) · 50–60%: 54.6% → 56.2% (n=1077) Sharp market (devigged) · 60–70%: 64.4% → 63.9% (n=598) Sharp market (devigged) · 70–80%: 74.6% → 79.2% (n=240) Sharp market (devigged) · 80–90%: 83.7% → 86.1% (n=72)
Raspon Sharp market (devigged) — Predviđeno (prosjek) Stvarno Opažanja Naš model (Elo + forma) — Predviđeno (prosjek) Stvarno Opažanja
0–10% 7.4% 5.6% 270 7.5% 7.1% 112
10–20% 16.2% 17.5% 1657 16.4% 16.8% 1056
20–30% 25.3% 25.1% 5261 26% 25.9% 6205
30–40% 34.3% 33.6% 2748 34.7% 34.6% 2646
40–50% 44.8% 43.9% 1680 44.8% 43.9% 2047
50–60% 54.6% 56.2% 1077 54.3% 56% 1024
60–70% 64.4% 63.9% 598 63.9% 64.3% 381
70–80% 74.6% 79.2% 240 74.1% 75.2% 105
80–90% 83.7% 86.1% 72 83% 88.2% 34

Niži Brier i log-loss su bolji; kalibracijska pogreška je ponderirani prosječni jaz između predviđenog i stvarnog. Pošteni zaključak: devigged sharp market je bolje kalibriran od našeg modela — zato ova stranica sve cijeni prema tržištu umjesto da vam prodaje model predikcije. Metodologija: vjerojatnosti kako su prikazane u trenutku bilježenja, bez naknadnog prilagođavanja; ishodi prema službenim rezultatima.

Puna metodologija →
Korisno ti je? Pošalji prijatelju koji se kladi.