บันทึกของ picks บอกคุณว่าอะไรชนะ Calibration บอกว่าความน่าจะเป็นนั้นมีความหมายหรือไม่: เมื่อเราบอก 60% มันเกิดขึ้น 60% ของเวลาหรือไม่? ด้านล่างคือทุก prediction ที่ตัดสินแล้ว วัดสองแบบ — ตลาด sharp (devigged) และโมเดลของเรา — พร้อมการเปรียบเทียบที่ไม่น่าดูแต่เปิดเผยตรงหน้า.
โมเดลของเรา (Elo + form): 0.617
โมเดลของเรา (Elo + form): 1.028
โมเดลของเรา (Elo + form): 0.4pp
แต่ละจุดคือช่วงความน่าจะเป็นทีละ 10 จุด (อย่างน้อย 30 observations). ยิ่งใกล้เส้นทแยงมากเท่าไร ยิ่ง calibrated ดี. ทุกแมตช์นับครบทั้งสามผลลัพธ์.
| Band | ตลาด sharp (devigged) — Predicted (avg) | Observed | Obs. | โมเดลของเรา (Elo + form) — Predicted (avg) | Observed | Obs. |
|---|---|---|---|---|---|---|
| 0–10% | 7.4% | 5.6% | 270 | 7.5% | 7.1% | 112 |
| 10–20% | 16.2% | 17.5% | 1657 | 16.4% | 16.8% | 1056 |
| 20–30% | 25.3% | 25.1% | 5261 | 26% | 25.9% | 6205 |
| 30–40% | 34.3% | 33.6% | 2748 | 34.7% | 34.6% | 2646 |
| 40–50% | 44.8% | 43.9% | 1680 | 44.8% | 43.9% | 2047 |
| 50–60% | 54.6% | 56.2% | 1077 | 54.3% | 56% | 1024 |
| 60–70% | 64.4% | 63.9% | 598 | 63.9% | 64.3% | 381 |
| 70–80% | 74.6% | 79.2% | 240 | 74.1% | 75.2% | 105 |
| 80–90% | 83.7% | 86.1% | 72 | 83% | 88.2% | 34 |
Brier และ log-loss ยิ่งต่ำยิ่งดี; calibration error คือค่าเฉลี่ยของช่องว่างระหว่างค่าที่คาดกับค่าที่เกิดจริงถ่วงด้วยจำนวน observations. ข้อสรุปที่ตรงไปตรงมาคือ: ตลาด sharp ที่ปรับ devig แล้ว calibrated ดีกว่าโมเดลของเรา — และนั่นคือเหตุผลที่ไซต์นี้ตั้งราคาเทียบกับตลาดแทนที่จะขาย prediction จากโมเดลให้คุณ. วิธีการ: ใช้ความน่าจะเป็นตามที่แสดงตอนบันทึก, ไม่ปรับย้อนหลัง; ผลลัพธ์มาจาก official results.
วิธีการเต็ม →