Metodologia, medida

Laboratório de Calibração do Modelo

Um registro de picks diz o que venceu. Calibração diz se as probabilidades significavam algo: quando dizemos 60%, isso acontece 60% das vezes? Abaixo, cada previsão liquidada, avaliada de duas formas — o mercado sharp (sem vigorish) e o nosso modelo — com a comparação incômoda à vista.

Previsões liquidadas 4,538
Brier score 0.598

Nosso modelo (Elo + forma): 0.617

Log-loss 1.001

Nosso modelo (Elo + forma): 1.028

Erro de calibração 0.8pp

Nosso modelo (Elo + forma): 0.4pp

Probabilidade prevista vs frequência observada

Cada ponto é uma faixa de probabilidade de 10 pontos (mín. 30 observações). Quanto mais perto da diagonal, melhor calibrado. Cada partida contribui com seus três resultados.

Mercado sharp (sem vigorish) Nosso modelo (Elo + forma) calibração perfeita
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Nosso modelo (Elo + forma) · 0–10%: 7.5% → 7.1% (n=112) Nosso modelo (Elo + forma) · 10–20%: 16.4% → 16.8% (n=1056) Nosso modelo (Elo + forma) · 20–30%: 26% → 25.9% (n=6205) Nosso modelo (Elo + forma) · 30–40%: 34.7% → 34.6% (n=2646) Nosso modelo (Elo + forma) · 40–50%: 44.8% → 43.9% (n=2047) Nosso modelo (Elo + forma) · 50–60%: 54.3% → 56% (n=1024) Nosso modelo (Elo + forma) · 60–70%: 63.9% → 64.3% (n=381) Nosso modelo (Elo + forma) · 70–80%: 74.1% → 75.2% (n=105) Nosso modelo (Elo + forma) · 80–90%: 83% → 88.2% (n=34) Mercado sharp (sem vigorish) · 0–10%: 7.4% → 5.6% (n=270) Mercado sharp (sem vigorish) · 10–20%: 16.2% → 17.5% (n=1657) Mercado sharp (sem vigorish) · 20–30%: 25.3% → 25.1% (n=5261) Mercado sharp (sem vigorish) · 30–40%: 34.3% → 33.6% (n=2748) Mercado sharp (sem vigorish) · 40–50%: 44.8% → 43.9% (n=1680) Mercado sharp (sem vigorish) · 50–60%: 54.6% → 56.2% (n=1077) Mercado sharp (sem vigorish) · 60–70%: 64.4% → 63.9% (n=598) Mercado sharp (sem vigorish) · 70–80%: 74.6% → 79.2% (n=240) Mercado sharp (sem vigorish) · 80–90%: 83.7% → 86.1% (n=72)
Faixa Mercado sharp (sem vigorish) — Previsto (média) Observado Obs. Nosso modelo (Elo + forma) — Previsto (média) Observado Obs.
0–10% 7.4% 5.6% 270 7.5% 7.1% 112
10–20% 16.2% 17.5% 1657 16.4% 16.8% 1056
20–30% 25.3% 25.1% 5261 26% 25.9% 6205
30–40% 34.3% 33.6% 2748 34.7% 34.6% 2646
40–50% 44.8% 43.9% 1680 44.8% 43.9% 2047
50–60% 54.6% 56.2% 1077 54.3% 56% 1024
60–70% 64.4% 63.9% 598 63.9% 64.3% 381
70–80% 74.6% 79.2% 240 74.1% 75.2% 105
80–90% 83.7% 86.1% 72 83% 88.2% 34

Brier score e log-loss menores são melhores; o erro de calibração é a diferença média ponderada pelas observações entre o previsto e o observado. O ponto honesto: o mercado sharp sem vigorish é melhor calibrado do que o nosso modelo — e é exatamente por isso que este site precifica tudo contra o mercado, em vez de vender previsões do modelo. Metodologia: probabilidades como exibidas no momento do registro, sem reajuste; resultados a partir dos placares oficiais.

Metodologia completa →
Achou útil? Envie para um amigo que aposta.