Methodik, gemessen

Model Calibration Lab

Ein Pick-Record sagt dir, was gewonnen hat. Kalibrierung sagt dir, ob die Wahrscheinlichkeiten überhaupt etwas bedeuten: Wenn wir 60% sagen, passiert es dann 60% der Zeit? Unten jede abgewickelte Prognose, auf zwei Arten bewertet — der sharp market (devigged) und unser eigenes Modell — mit dem unbequemen Vergleich im direkten Blick.

Abgewickelte Prognosen 7,934
Brier score 0.598

Unser Modell (Elo + Form): 0.615

Log-loss 1.001

Unser Modell (Elo + Form): 1.025

Kalibrierungsfehler 0.6pp

Unser Modell (Elo + Form): 0.6pp

Prognostizierte Wahrscheinlichkeit vs. beobachtete Häufigkeit

Jeder Punkt ist ein 10-Punkte-Wahrscheinlichkeitsband (mind. 30 Beobachtungen). Je näher an der Diagonalen, desto besser kalibriert. Jedes Spiel trägt zu seinen drei Ausgängen bei.

Sharp market (devigged) Unser Modell (Elo + Form) perfekte Kalibrierung
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Unser Modell (Elo + Form) · 0–10%: 7.5% → 7.6% (n=238) Unser Modell (Elo + Form) · 10–20%: 16.4% → 16.1% (n=1875) Unser Modell (Elo + Form) · 20–30%: 26% → 25.6% (n=10791) Unser Modell (Elo + Form) · 30–40%: 34.7% → 35.4% (n=4588) Unser Modell (Elo + Form) · 40–50%: 44.7% → 44.3% (n=3588) Unser Modell (Elo + Form) · 50–60%: 54.4% → 55.5% (n=1752) Unser Modell (Elo + Form) · 60–70%: 63.9% → 62.9% (n=672) Unser Modell (Elo + Form) · 70–80%: 74.2% → 77.7% (n=220) Unser Modell (Elo + Form) · 80–90%: 83.6% → 86.3% (n=73) Sharp market (devigged) · 0–10%: 7.3% → 7% (n=488) Sharp market (devigged) · 10–20%: 16.2% → 17.2% (n=2901) Sharp market (devigged) · 20–30%: 25.3% → 24.9% (n=9249) Sharp market (devigged) · 30–40%: 34.3% → 34.4% (n=4671) Sharp market (devigged) · 40–50%: 44.7% → 43.9% (n=2976) Sharp market (devigged) · 50–60%: 54.6% → 55.6% (n=1907) Sharp market (devigged) · 60–70%: 64.3% → 64.2% (n=1006) Sharp market (devigged) · 70–80%: 74.6% → 77.7% (n=448) Sharp market (devigged) · 80–90%: 83.7% → 84.5% (n=129)
Band Sharp market (devigged) Unser Modell (Elo + Form)
Prognostiziert (Ø) Beobachtet Obs. Prognostiziert (Ø) Beobachtet Obs.
0–10% 7.3% 7% 488 7.5% 7.6% 238
10–20% 16.2% 17.2% 2901 16.4% 16.1% 1875
20–30% 25.3% 24.9% 9249 26% 25.6% 10791
30–40% 34.3% 34.4% 4671 34.7% 35.4% 4588
40–50% 44.7% 43.9% 2976 44.7% 44.3% 3588
50–60% 54.6% 55.6% 1907 54.4% 55.5% 1752
60–70% 64.3% 64.2% 1006 63.9% 62.9% 672
70–80% 74.6% 77.7% 448 74.2% 77.7% 220
80–90% 83.7% 84.5% 129 83.6% 86.3% 73

Niedrigerer Brier-Score und Log-Loss sind besser; der Kalibrierungsfehler ist der nach Beobachtungen gewichtete durchschnittliche Abstand zwischen vorhergesagt und beobachtet. Die ehrliche Zusammenfassung: Der von der Marge bereinigte schärfste Markt prognostiziert besser als unser Modell (niedrigerer Brier-Score und Log-Loss). Beim Kalibrierungsfehler liegen beide innerhalb des Stichprobenrauschens einer perfekten Kalibrierung; der Markt gewinnt, weil er wahrscheinliche von unwahrscheinlichen Ergebnissen schärfer trennt — genau deshalb bepreist diese Seite alles gegen den Markt statt dir Modellprognosen zu verkaufen. Methode: Wahrscheinlichkeiten wie zum Zeitpunkt der Erfassung angezeigt, keine nachträgliche Anpassung; Ergebnisse aus offiziellen Resultaten.

Vollständige Methodik →

Über/unter 2,5 und beide Teams treffen

Pinnacle-Schlusskurs ohne Marge, verglichen mit dem, was passiert ist, in Stufen von 10 Punkten (Stufen mit mindestens 30 Spielen).

Über 2,5 Tore

Markt sagteTatsächlich± (95%)Spiele
27%25% ±1072
36%42% ±5345
46%47% ±3838
55%56% ±31336
64%63% ±3861
73%71% ±6231

3,710 Spiele, Brier-Score 0.2395. ± gibt an, wie weit „passiert“ allein durch Zufall bei so vielen Spielen von dem abweichen kann, was der Markt sagte: Eine Lücke darin ist Rauschen.

Beide Teams treffen

Markt sagteTatsächlich± (95%)Spiele
47%50% ±8134
55%55% ±4545
64%67% ±5360
73%64% ±1344

1,088 Spiele, Brier-Score 0.2386. ± gibt an, wie weit „passiert“ allein durch Zufall bei so vielen Spielen von dem abweichen kann, was der Markt sagte: Eine Lücke darin ist Rauschen.

Schätzungen für das korrekte Ergebnis vs. tatsächlicher Verlauf

Jedes Ergebnis von 0–0 bis 6–6 jedes Spiels, geschätzt aus den Schlussquoten (Pinnacle, Marge entfernt) mit demselben Modell wie auf den Spielseiten, gruppiert nach geschätzter Wahrscheinlichkeit. Wenn die Schätzungen ehrlich sind, treten Ergebnisse mit etwa 10% auch in etwa 10% der Fälle ein.

GeschätztPrognostiziert (Ø)TatsächlichErgebnisse
0–3%0.5% 0.5%134,837
3–6%4.4% 4.5%19,694
6–9%7.4% 7.5%12,948
9–12%10.1% 9.9%6,563
12–15%13.3% 13.1%2,706
15–100%16.5% 16.5%387

3,615 Spiele: Das wahrscheinlichste Ergebnis wurde im Durchschnitt auf 12.4% geschätzt und trat in 12.5% davon ein.

Nützlich? Sende es an einen Freund, der wettet.