Metodologija, merena

Laboratorija za kalibraciju modela

Evidencija piksova govori šta je prošlo. Kalibracija govori da li su verovatnoće imale smisla: kada kažemo 60%, da li se to dešava u 60% slučajeva? Ispod, svaka obrađena prognoza, ocenjivana na dva načina — sharp market (devigged) i naš model — uz neugodno poređenje na otvorenom.

Obrađene prognoze 4,538
Brier score 0.598

Naš model (Elo + forma): 0.617

Log-loss 1.001

Naš model (Elo + forma): 1.028

Greška kalibracije 0.8pp

Naš model (Elo + forma): 0.4pp

Predviđena verovatnoća naspram ostvarene učestalosti

Svaka tačka je pojas verovatnoće od 10 poena (min. 30 opažanja). Što bliže dijagonali, to bolja kalibracija. Svaka utakmica doprinosi sa svoja tri ishoda.

Sharp market (devigged) Naš model (Elo + forma) savršena kalibracija
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Naš model (Elo + forma) · 0–10%: 7.5% → 7.1% (n=112) Naš model (Elo + forma) · 10–20%: 16.4% → 16.8% (n=1056) Naš model (Elo + forma) · 20–30%: 26% → 25.9% (n=6205) Naš model (Elo + forma) · 30–40%: 34.7% → 34.6% (n=2646) Naš model (Elo + forma) · 40–50%: 44.8% → 43.9% (n=2047) Naš model (Elo + forma) · 50–60%: 54.3% → 56% (n=1024) Naš model (Elo + forma) · 60–70%: 63.9% → 64.3% (n=381) Naš model (Elo + forma) · 70–80%: 74.1% → 75.2% (n=105) Naš model (Elo + forma) · 80–90%: 83% → 88.2% (n=34) Sharp market (devigged) · 0–10%: 7.4% → 5.6% (n=270) Sharp market (devigged) · 10–20%: 16.2% → 17.5% (n=1657) Sharp market (devigged) · 20–30%: 25.3% → 25.1% (n=5261) Sharp market (devigged) · 30–40%: 34.3% → 33.6% (n=2748) Sharp market (devigged) · 40–50%: 44.8% → 43.9% (n=1680) Sharp market (devigged) · 50–60%: 54.6% → 56.2% (n=1077) Sharp market (devigged) · 60–70%: 64.4% → 63.9% (n=598) Sharp market (devigged) · 70–80%: 74.6% → 79.2% (n=240) Sharp market (devigged) · 80–90%: 83.7% → 86.1% (n=72)
Pojas Sharp market (devigged) — Predviđeno (prosek) Ostvareno Obs. Naš model (Elo + forma) — Predviđeno (prosek) Ostvareno Obs.
0–10% 7.4% 5.6% 270 7.5% 7.1% 112
10–20% 16.2% 17.5% 1657 16.4% 16.8% 1056
20–30% 25.3% 25.1% 5261 26% 25.9% 6205
30–40% 34.3% 33.6% 2748 34.7% 34.6% 2646
40–50% 44.8% 43.9% 1680 44.8% 43.9% 2047
50–60% 54.6% 56.2% 1077 54.3% 56% 1024
60–70% 64.4% 63.9% 598 63.9% 64.3% 381
70–80% 74.6% 79.2% 240 74.1% 75.2% 105
80–90% 83.7% 86.1% 72 83% 88.2% 34

Niži Brier i log-loss su bolji; greška kalibracije je prosečan jaz između predviđenog i ostvarenog, ponderisan po opažanjima. Iskren naslov: devigged sharp market je bolje kalibrisan od našeg modela — upravo zato ovaj sajt sve ceni prema tržištu umesto da vam prodaje model-predikcije. Metodologija: verovatnoće kako su prikazane u trenutku logovanja, bez naknadnog doterivanja; ishodi iz zvaničnih rezultata.

Kompletna metodologija →
Korisno? Pošalji prijatelju koji se kladi.