Model Calibration Lab
Un registro de picks te dice qué ganó. La calibración te dice si las probabilidades significaban algo: cuando decimos 60%, ¿ocurre el 60% de las veces? Abajo, cada predicción liquidada, evaluada de dos formas — el mercado sharp (ajustado por vigorish) y nuestro propio modelo — con la comparación incómoda a la vista.
Nuestro modelo (Elo + forma): 0.615
Nuestro modelo (Elo + forma): 1.025
Nuestro modelo (Elo + forma): 0.6pp
Probabilidad prevista vs frecuencia observada
Cada punto es una banda de probabilidad de 10 puntos (mín. 30 observaciones). Cuanto más cerca de la diagonal, mejor calibrado. Cada partido aporta sus tres resultados.
| Banda | Mercado sharp (ajustado por vigorish) | Nuestro modelo (Elo + forma) | ||||
|---|---|---|---|---|---|---|
| Previsto (prom.) | Observado | Obs. | Previsto (prom.) | Observado | Obs. | |
| 0–10% | 7.3% | 7% | 488 | 7.5% | 7.6% | 238 |
| 10–20% | 16.2% | 17.2% | 2901 | 16.4% | 16.1% | 1875 |
| 20–30% | 25.3% | 24.9% | 9249 | 26% | 25.6% | 10791 |
| 30–40% | 34.3% | 34.4% | 4671 | 34.7% | 35.4% | 4588 |
| 40–50% | 44.7% | 43.9% | 2976 | 44.7% | 44.3% | 3588 |
| 50–60% | 54.6% | 55.6% | 1907 | 54.4% | 55.5% | 1752 |
| 60–70% | 64.3% | 64.2% | 1006 | 63.9% | 62.9% | 672 |
| 70–80% | 74.6% | 77.7% | 448 | 74.2% | 77.7% | 220 |
| 80–90% | 83.7% | 84.5% | 129 | 83.6% | 86.3% | 73 |
Un Brier y un log-loss más bajos son mejores; el error de calibración es la media ponderada por observaciones de la diferencia entre lo predicho y lo observado. El titular honesto: el mercado sharp sin margen pronostica mejor que nuestro modelo (mejor Brier score y log-loss). Solo en error de calibración ambos están dentro del ruido muestral de una calibración perfecta; el mercado gana al separar con más precisión los resultados probables de los improbables — que es precisamente por lo que este sitio valora todo contra el mercado en lugar de venderte predicciones del modelo. Metodología: probabilidades tal como se mostraban en el momento del registro, sin reajustes; resultados de marcadores oficiales.
Metodología completa →Más/menos 2.5 y ambos equipos marcan
Precio de cierre de Pinnacle sin margen, frente a lo ocurrido, en bandas de 10 puntos (bandas con al menos 30 partidos).
Más de 2.5 goles
| El mercado dijo | Ocurrió | ± (95%) | Partidos |
|---|---|---|---|
| 27% | 25% | ±10 | 72 |
| 36% | 42% | ±5 | 345 |
| 46% | 47% | ±3 | 838 |
| 55% | 56% | ±3 | 1336 |
| 64% | 63% | ±3 | 861 |
| 73% | 71% | ±6 | 231 |
3,710 partidos, Brier score 0.2395. ± es cuánto puede desviarse «ocurrido» de lo que indicó el mercado por puro azar con ese número de partidos: un gap dentro de ese margen es ruido.
Ambos equipos marcan
| El mercado dijo | Ocurrió | ± (95%) | Partidos |
|---|---|---|---|
| 47% | 50% | ±8 | 134 |
| 55% | 55% | ±4 | 545 |
| 64% | 67% | ±5 | 360 |
| 73% | 64% | ±13 | 44 |
1,088 partidos, Brier score 0.2386. ± es cuánto puede desviarse «ocurrido» de lo que indicó el mercado por puro azar con ese número de partidos: un gap dentro de ese margen es ruido.
Estimaciones de resultado correcto vs lo que pasó
Cada marcador de 0–0 a 6–6 de cada partido, estimado a partir de las cuotas de cierre (Pinnacle, margen eliminado) con el mismo modelo que las páginas de partido, agrupado por probabilidad estimada. Si las estimaciones son honestas, los marcadores estimados en torno al 10% ocurren aproximadamente el 10% de las veces.
| Estimado | Previsto (prom.) | Ocurrió | Marcadores |
|---|---|---|---|
| 0–3% | 0.5% | 0.5% | 134,837 |
| 3–6% | 4.4% | 4.5% | 19,694 |
| 6–9% | 7.4% | 7.5% | 12,948 |
| 9–12% | 10.1% | 9.9% | 6,563 |
| 12–15% | 13.3% | 13.1% | 2,706 |
| 15–100% | 16.5% | 16.5% | 387 |
3,615 partidos: el marcador más probable se estimó en 12.4% de media y ocurrió en 12.5% de ellos.
