Metodologia, medida

Laboratório de Calibração do Modelo

Um registro de picks diz o que venceu. Calibração diz se as probabilidades significavam algo: quando dizemos 60%, isso acontece 60% das vezes? Abaixo, cada previsão liquidada, avaliada de duas formas — o mercado sharp (sem vigorish) e o nosso modelo — com a comparação incômoda à vista.

Previsões liquidadas 7,934
Brier score 0.598

Nosso modelo (Elo + forma): 0.615

Log-loss 1.001

Nosso modelo (Elo + forma): 1.025

Erro de calibração 0.6pp

Nosso modelo (Elo + forma): 0.6pp

Probabilidade prevista vs frequência observada

Cada ponto é uma faixa de probabilidade de 10 pontos (mín. 30 observações). Quanto mais perto da diagonal, melhor calibrado. Cada partida contribui com seus três resultados.

Mercado sharp (sem vigorish) Nosso modelo (Elo + forma) calibração perfeita
0% 0% 25% 25% 50% 50% 75% 75% 100% 100% Nosso modelo (Elo + forma) · 0–10%: 7.5% → 7.6% (n=238) Nosso modelo (Elo + forma) · 10–20%: 16.4% → 16.1% (n=1875) Nosso modelo (Elo + forma) · 20–30%: 26% → 25.6% (n=10791) Nosso modelo (Elo + forma) · 30–40%: 34.7% → 35.4% (n=4588) Nosso modelo (Elo + forma) · 40–50%: 44.7% → 44.3% (n=3588) Nosso modelo (Elo + forma) · 50–60%: 54.4% → 55.5% (n=1752) Nosso modelo (Elo + forma) · 60–70%: 63.9% → 62.9% (n=672) Nosso modelo (Elo + forma) · 70–80%: 74.2% → 77.7% (n=220) Nosso modelo (Elo + forma) · 80–90%: 83.6% → 86.3% (n=73) Mercado sharp (sem vigorish) · 0–10%: 7.3% → 7% (n=488) Mercado sharp (sem vigorish) · 10–20%: 16.2% → 17.2% (n=2901) Mercado sharp (sem vigorish) · 20–30%: 25.3% → 24.9% (n=9249) Mercado sharp (sem vigorish) · 30–40%: 34.3% → 34.4% (n=4671) Mercado sharp (sem vigorish) · 40–50%: 44.7% → 43.9% (n=2976) Mercado sharp (sem vigorish) · 50–60%: 54.6% → 55.6% (n=1907) Mercado sharp (sem vigorish) · 60–70%: 64.3% → 64.2% (n=1006) Mercado sharp (sem vigorish) · 70–80%: 74.6% → 77.7% (n=448) Mercado sharp (sem vigorish) · 80–90%: 83.7% → 84.5% (n=129)
Faixa Mercado sharp (sem vigorish) Nosso modelo (Elo + forma)
Previsto (média) Observado Obs. Previsto (média) Observado Obs.
0–10% 7.3% 7% 488 7.5% 7.6% 238
10–20% 16.2% 17.2% 2901 16.4% 16.1% 1875
20–30% 25.3% 24.9% 9249 26% 25.6% 10791
30–40% 34.3% 34.4% 4671 34.7% 35.4% 4588
40–50% 44.7% 43.9% 2976 44.7% 44.3% 3588
50–60% 54.6% 55.6% 1907 54.4% 55.5% 1752
60–70% 64.3% 64.2% 1006 63.9% 62.9% 672
70–80% 74.6% 77.7% 448 74.2% 77.7% 220
80–90% 83.7% 84.5% 129 83.6% 86.3% 73

Brier e log-loss menores são melhores; erro de calibração é a média ponderada pela observação do gap entre o previsto e o observado. O título honesto: o mercado eficiente sem margem prevê melhor do que nosso modelo (Brier score e log-loss menores). Apenas no erro de calibração, ambos ficam dentro do ruído amostral de uma calibração perfeita; o mercado vence por separar com mais nitidez os resultados prováveis dos improváveis — exatamente por isso este site precifica tudo contra o mercado em vez de vender previsões do modelo. Metodologia: probabilidades conforme exibidas no momento do registro, sem ajuste posterior; resultados vindos dos placares oficiais.

Metodologia completa →

Over/under 2.5 e ambas as equipes marcam

Preço de fechamento da Pinnacle sem margem, contra o que aconteceu, em faixas de 10 pontos (faixas com pelo menos 30 jogos).

Mais de 2.5 gols

O mercado indicouAconteceu± (95%)Partidas
27%25% ±1072
36%42% ±5345
46%47% ±3838
55%56% ±31336
64%63% ±3861
73%71% ±6231

3,710 partidas, Brier score 0.2395. ± é o quanto “aconteceu” pode se afastar do que o mercado indicava por puro acaso com esse número de jogos: um gap dentro dele é ruído.

Ambas as equipes marcam

O mercado indicouAconteceu± (95%)Partidas
47%50% ±8134
55%55% ±4545
64%67% ±5360
73%64% ±1344

1,088 partidas, Brier score 0.2386. ± é o quanto “aconteceu” pode se afastar do que o mercado indicava por puro acaso com esse número de jogos: um gap dentro dele é ruído.

Estimativas de placar correto vs. o que aconteceu

Todos os placares de 0–0 a 6–6 de cada partida, estimados a partir dos preços de fechamento (Pinnacle, margem removida) com o mesmo modelo das páginas de partida, agrupados por probabilidade estimada. Se as estimativas forem honestas, placares estimados em cerca de 10% acontecem em cerca de 10% dos casos.

EstimadoPrevisto (média)AconteceuPlacar
0–3%0.5% 0.5%134,837
3–6%4.4% 4.5%19,694
6–9%7.4% 7.5%12,948
9–12%10.1% 9.9%6,563
12–15%13.3% 13.1%2,706
15–100%16.5% 16.5%387

3,615 partidas: o placar mais provável foi estimado em média em 12.4% e aconteceu em 12.5% delas.

Achou útil? Envie para um amigo que aposta.