Model Calibration Lab
Catatan pick memberi tahu apa yang menang. Kalibrasi memberi tahu apakah probabilitas itu berarti: saat kami bilang 60%, apakah terjadi 60% dari waktu? Di bawah ini, setiap prediksi yang settled, dinilai dua cara — sharp market (devigged) dan model kami sendiri — dengan perbandingan yang tidak nyaman terlihat jelas.
Model kami (Elo + form): 0.615
Model kami (Elo + form): 1.025
Model kami (Elo + form): 0.6pp
Probabilitas prediksi vs frekuensi observed
Setiap titik adalah band probabilitas 10 poin (min. 30 observasi). Semakin dekat ke diagonal, semakin baik kalibrasinya. Setiap match menyumbang tiga hasilnya.
| Band | Sharp market (devigged) | Model kami (Elo + form) | ||||
|---|---|---|---|---|---|---|
| Predicted (avg) | Observed | Obs. | Predicted (avg) | Observed | Obs. | |
| 0–10% | 7.3% | 7% | 488 | 7.5% | 7.6% | 238 |
| 10–20% | 16.2% | 17.2% | 2901 | 16.4% | 16.1% | 1875 |
| 20–30% | 25.3% | 24.9% | 9249 | 26% | 25.6% | 10791 |
| 30–40% | 34.3% | 34.4% | 4671 | 34.7% | 35.4% | 4588 |
| 40–50% | 44.7% | 43.9% | 2976 | 44.7% | 44.3% | 3588 |
| 50–60% | 54.6% | 55.6% | 1907 | 54.4% | 55.5% | 1752 |
| 60–70% | 64.3% | 64.2% | 1006 | 63.9% | 62.9% | 672 |
| 70–80% | 74.6% | 77.7% | 448 | 74.2% | 77.7% | 220 |
| 80–90% | 83.7% | 84.5% | 129 | 83.6% | 86.3% | 73 |
Brier dan log-loss yang lebih rendah lebih baik; calibration error adalah rata-rata gap berbobot observasi antara prediksi dan hasil nyata. Ringkasan jujurnya: sharp market yang sudah dihilangkan marginnya memprediksi lebih baik daripada model kami (Brier score dan log-loss lebih rendah). Pada calibration error saja, keduanya masih dalam noise sampling dari kalibrasi sempurna; market menang karena memisahkan hasil yang mungkin dan yang tidak mungkin dengan lebih tegas — itulah tepatnya alasan situs ini memberi harga semua hal terhadap market, bukan menjual prediksi model. Metodologi: probabilitas sesuai tampilan saat pencatatan, tanpa penyesuaian ulang; hasil dari hasil resmi.
Metodologi lengkap →Over/under 2.5 dan kedua tim mencetak gol
Harga penutupan Pinnacle dengan margin dihilangkan, dibandingkan dengan hasil yang terjadi, dalam rentang 10 poin (rentang dengan setidaknya 30 pertandingan).
Over 2.5 gol
| Pasar mengatakan | Terjadi | ± (95%) | Pertandingan |
|---|---|---|---|
| 27% | 25% | ±10 | 72 |
| 36% | 42% | ±5 | 345 |
| 46% | 47% | ±3 | 838 |
| 55% | 56% | ±3 | 1336 |
| 64% | 63% | ±3 | 861 |
| 73% | 71% | ±6 | 231 |
3,710 pertandingan, Brier score 0.2395. ± adalah seberapa jauh “terjadi” bisa menyimpang dari apa yang dikatakan pasar hanya karena kebetulan dengan jumlah pertandingan itu: kesenjangan di dalamnya adalah derau.
Kedua tim mencetak gol
| Pasar mengatakan | Terjadi | ± (95%) | Pertandingan |
|---|---|---|---|
| 47% | 50% | ±8 | 134 |
| 55% | 55% | ±4 | 545 |
| 64% | 67% | ±5 | 360 |
| 73% | 64% | ±13 | 44 |
1,088 pertandingan, Brier score 0.2386. ± adalah seberapa jauh “terjadi” bisa menyimpang dari apa yang dikatakan pasar hanya karena kebetulan dengan jumlah pertandingan itu: kesenjangan di dalamnya adalah derau.
Estimasi skor tepat vs hasil aktual
Semua skor dari 0–0 sampai 6–6 pada setiap pertandingan, diestimasi dari harga penutupan (Pinnacle, margin dihilangkan) dengan model yang sama seperti di halaman pertandingan, dikelompokkan לפי probabilitas estimasi. Jika estimasinya jujur, skor yang diestimasi sekitar 10% akan terjadi sekitar 10% dari waktu.
| Estimasi | Predicted (avg) | Terjadi | Skor |
|---|---|---|---|
| 0–3% | 0.5% | 0.5% | 134,837 |
| 3–6% | 4.4% | 4.5% | 19,694 |
| 6–9% | 7.4% | 7.5% | 12,948 |
| 9–12% | 10.1% | 9.9% | 6,563 |
| 12–15% | 13.3% | 13.1% | 2,706 |
| 15–100% | 16.5% | 16.5% | 387 |
3,615 pertandingan: skor paling mungkin diestimasi rata-rata 12.4% dan terjadi pada 12.5% di antaranya.
