픽 기록은 무엇이 이겼는지 알려줍니다. 캘리브레이션은 확률이 의미가 있었는지를 알려줍니다. 60%라고 했을 때 실제로 60%가 일어나는가? 아래에는 정산된 모든 예측을 두 가지 방식으로 평가했습니다. sharp market(devigged)과 우리 모델입니다. 불편한 비교를 그대로 보여줍니다.
우리 모델 (Elo + form): 0.617
우리 모델 (Elo + form): 1.028
우리 모델 (Elo + form): 0.4pp
각 점은 10포인트 확률 구간입니다(최소 30개 관측치). 대각선에 가까울수록 더 잘 보정된 것입니다. 모든 경기는 세 가지 결과에 기여합니다.
| 구간 | sharp market (devigged) — 예측값(평균) | 실제값 | 관측 수 | 우리 모델 (Elo + form) — 예측값(평균) | 실제값 | 관측 수 |
|---|---|---|---|---|---|---|
| 0–10% | 7.4% | 5.6% | 270 | 7.5% | 7.1% | 112 |
| 10–20% | 16.2% | 17.5% | 1657 | 16.4% | 16.8% | 1056 |
| 20–30% | 25.3% | 25.1% | 5261 | 26% | 25.9% | 6205 |
| 30–40% | 34.3% | 33.6% | 2748 | 34.7% | 34.6% | 2646 |
| 40–50% | 44.8% | 43.9% | 1680 | 44.8% | 43.9% | 2047 |
| 50–60% | 54.6% | 56.2% | 1077 | 54.3% | 56% | 1024 |
| 60–70% | 64.4% | 63.9% | 598 | 63.9% | 64.3% | 381 |
| 70–80% | 74.6% | 79.2% | 240 | 74.1% | 75.2% | 105 |
| 80–90% | 83.7% | 86.1% | 72 | 83% | 88.2% | 34 |
Brier와 log-loss는 낮을수록 좋습니다. 캘리브레이션 오차는 예측값과 실제값 사이의 관측치 가중 평균 차이입니다. 핵심은 분명합니다. devigged sharp market이 우리 모델보다 더 잘 보정되어 있으며, 바로 그래서 이 사이트는 모델 예측을 팔지 않고 시장 기준으로 모든 가격을 봅니다. 방법론: 기록 시점에 표시된 확률 사용, 사후 재적합 없음; 결과는 공식 경기 결과 기준.
전체 방법론 →