Methodology, measured

Laboratorul de calibrare

Un istoric de ponturi îți spune ce a câștigat. Calibrarea îți spune dacă probabilitățile aveau sens: când spunem 60%, se întâmplă în 60% din cazuri? Mai jos, fiecare predicție încheiată, evaluată în două feluri — piața de referință fără marjă și modelul nostru — cu comparația incomodă la vedere.

Predicții închise 7,934
Brier score 0.598

Modelul nostru (Elo + formă): 0.615

Log-loss 1.001

Modelul nostru (Elo + formă): 1.025

Eroare de calibrare 0.6pp

Modelul nostru (Elo + formă): 0.6pp

Probabilitate prezisă vs frecvență observată

Fiecare punct este o bandă de probabilitate de 10 puncte (min. 30 observații). Cu cât e mai aproape de diagonală, cu atât calibrarea e mai bună. Fiecare meci contribuie cu toate cele trei rezultate.

Piața de referință (fără marjă) Modelul nostru (Elo + formă) calibrare perfectă
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Modelul nostru (Elo + formă) · 0–10%: 7.5% → 7.6% (n=238) Modelul nostru (Elo + formă) · 10–20%: 16.4% → 16.1% (n=1875) Modelul nostru (Elo + formă) · 20–30%: 26% → 25.6% (n=10791) Modelul nostru (Elo + formă) · 30–40%: 34.7% → 35.4% (n=4588) Modelul nostru (Elo + formă) · 40–50%: 44.7% → 44.3% (n=3588) Modelul nostru (Elo + formă) · 50–60%: 54.4% → 55.5% (n=1752) Modelul nostru (Elo + formă) · 60–70%: 63.9% → 62.9% (n=672) Modelul nostru (Elo + formă) · 70–80%: 74.2% → 77.7% (n=220) Modelul nostru (Elo + formă) · 80–90%: 83.6% → 86.3% (n=73) Piața de referință (fără marjă) · 0–10%: 7.3% → 7% (n=488) Piața de referință (fără marjă) · 10–20%: 16.2% → 17.2% (n=2901) Piața de referință (fără marjă) · 20–30%: 25.3% → 24.9% (n=9249) Piața de referință (fără marjă) · 30–40%: 34.3% → 34.4% (n=4671) Piața de referință (fără marjă) · 40–50%: 44.7% → 43.9% (n=2976) Piața de referință (fără marjă) · 50–60%: 54.6% → 55.6% (n=1907) Piața de referință (fără marjă) · 60–70%: 64.3% → 64.2% (n=1006) Piața de referință (fără marjă) · 70–80%: 74.6% → 77.7% (n=448) Piața de referință (fără marjă) · 80–90%: 83.7% → 84.5% (n=129)
Bandă Piața de referință (fără marjă) Modelul nostru (Elo + formă)
Prezis (medie) Observat Obs. Prezis (medie) Observat Obs.
0–10% 7.3% 7% 488 7.5% 7.6% 238
10–20% 16.2% 17.2% 2901 16.4% 16.1% 1875
20–30% 25.3% 24.9% 9249 26% 25.6% 10791
30–40% 34.3% 34.4% 4671 34.7% 35.4% 4588
40–50% 44.7% 43.9% 2976 44.7% 44.3% 3588
50–60% 54.6% 55.6% 1907 54.4% 55.5% 1752
60–70% 64.3% 64.2% 1006 63.9% 62.9% 672
70–80% 74.6% 77.7% 448 74.2% 77.7% 220
80–90% 83.7% 84.5% 129 83.6% 86.3% 73

Brier și log-loss mai mici sunt mai bune; eroarea de calibrare este media ponderată după observații a diferenței dintre estimat și observat. Concluzia onestă: piața de referință fără marjă prezice mai bine decât modelul nostru (scor Brier și log-loss mai mici). Doar la eroarea de calibrare, ambele sunt în limitele zgomotului de eșantion față de o calibrare perfectă; piața câștigă prin faptul că separă mai clar rezultatele probabile de cele puțin probabile — exact de aceea acest site cotează totul în raport cu piața, în loc să îți vândă predicții de model. Metodologie: probabilități așa cum erau afișate la momentul înregistrării, fără refaceri ulterioare; rezultatele provin din rezultatele oficiale.

Metodologie completă →

Peste/sub 2.5 și ambele echipe marchează

Cota de închidere Pinnacle fără marjă, comparată cu ce s-a întâmplat, în benzi de 10 puncte (benzi cu cel puțin 30 de meciuri).

Peste 2.5 goluri

Piața a indicatS-a întâmplat± (95%)Meciuri
27%25% ±1072
36%42% ±5345
46%47% ±3838
55%56% ±31336
64%63% ±3861
73%71% ±6231

3,710 meciuri, scor Brier 0.2395. ± arată cât de mult se poate abate „ce s-a întâmplat” de la ceea ce a spus piața doar din întâmplare, cu atâtea meciuri: o diferență în interiorul lui este zgomot.

Ambele echipe marchează

Piața a indicatS-a întâmplat± (95%)Meciuri
47%50% ±8134
55%55% ±4545
64%67% ±5360
73%64% ±1344

1,088 meciuri, scor Brier 0.2386. ± arată cât de mult se poate abate „ce s-a întâmplat” de la ceea ce a spus piața doar din întâmplare, cu atâtea meciuri: o diferență în interiorul lui este zgomot.

Estimări de scor corect vs ce s-a întâmplat

Fiecare scor de la 0–0 la 6–6 din fiecare meci, estimat din cotele de închidere (Pinnacle, fără marjă) cu același model ca pe paginile meciurilor, grupat după probabilitatea estimată. Dacă estimările sunt corecte, scorurile estimate la aproximativ 10% apar în aproximativ 10% din cazuri.

EstimatPrezis (medie)S-a întâmplatScoruri
0–3%0.5% 0.5%134,837
3–6%4.4% 4.5%19,694
6–9%7.4% 7.5%12,948
9–12%10.1% 9.9%6,563
12–15%13.3% 13.1%2,706
15–100%16.5% 16.5%387

3,615 meciuri: scorul cel mai probabil a fost estimat la 12.4% în medie și s-a produs în 12.5% dintre ele.

Ți-a fost util? Trimite-l unui prieten care pariază.