Esiste un'intera categoria di siti che pubblicano ogni mattina previsioni gratuite di calcio: un elenco di partite, un pronostico, a volte una percentuale accanto. Vengono letti da molte persone. Vengono controllati da quasi nessuno, perché controllare è tedioso — bisognerebbe registrare cosa era stato previsto prima del calcio d'inizio, aspettare i risultati e sapere a che quota si sarebbe potuto realmente prendere.
Ed è proprio quello che la nostra infrastruttura fa già per i tipster su Telegram. Quindi l'abbiamo puntata su due dei siti gratuiti più noti, Statarea e Zulubet, e abbiamo iniziato a misurare.
Questo articolo non è un verdetto. È il metodo, più il primo giorno di dati, pubblicato ora così che nessuno possa poi accusarci di aver avviato il conteggio solo quando i numeri sembravano convenienti.
Il passo 5 è la parte che la maggior parte dei servizi di "verifica" salta, ed è la parte che decide se gli altri numeri significano qualcosa.
| Statarea | Zulubet | |
|---|---|---|
| Previsioni pubbliche lette | 65 | 82 |
| Abbinate a una partita che copriamo | 19 | 28 |
| Regolate finora | 19 | 5 |
| Corrette | 7 | 2 |
| Accuratezza | 36.8% | 40.0% |
| Quota media su quelle puntate | 2.10 | 2.21 |
| Accuratezza di pareggio necessaria | 47.6% | 45.3% |
Entrambi sono sotto l'accuratezza che servirebbe alle quote delle loro puntate. E entrambi i numeri non significano nulla, perché 19 e 5 previsioni regolate sono rumore. Una singola buona serata li sposta di dieci punti. Li pubblichiamo comunque, perché l'alternativa — aspettare in silenzio finché il campione lusinga qualcuno — è il modo in cui questo settore si guadagna la reputazione.
Le due colonne che conteranno tra un mese sono le ultime due. L'accuratezza da sola non chiude mai nulla: un sito che punta solo favoriti a quota bassa può essere corretto al 70% e comunque perdere denaro, cosa che abbiamo misurato in dettaglio su un tipster AI molto popolare su 25,890 partite. Ciò che chiude la questione è l'accuratezza rispetto al tasso di pareggio alla quota che avresti potuto prendere, e oltre a questo il closing line value.
Su 147 previsioni lette il primo giorno, siamo riusciti ad abbinarne 47. Non è un fallimento loro o nostro — questi siti coprono molte più competizioni delle 83 leghe che prezziano. Una previsione su una lega che non copriamo non può essere valutata onestamente, quindi viene accantonata e conteggiata separatamente invece di essere silenziosamente scartata o, peggio, conteggiata come perdita.
È lo stesso schema che abbiamo trovato auditando i tipster su Telegram: su 46 canali abbiamo letto 1,279 pick pubblici e siamo riusciti a regolarne 567. Il sottoinsieme misurabile è sempre più piccolo del record dichiarato, e qualsiasi audit che non ti dica quanto è grande ti chiede di fidarti invece di controllare.
Statarea pubblica un pronostico. Zulubet pubblica una probabilità per casa, pareggio e trasferta, e mette in evidenza la più alta — che è più di quanto offrano la maggior parte dei siti gratuiti, e rende il sito verificabile in modo più rigoroso.
Una probabilità è un'affermazione falsificabile. Se un previsore dice 70% in un paio di centinaia di occasioni, l'evento dovrebbe verificarsi circa il 70% delle volte. Se accade nel 50% dei casi, quel numero è decorazione. Ora memorizziamo ogni probabilità pubblicata da Zulubet insieme al risultato finale, così col tempo quella pagina potrà rispondere non solo a "batte il closing line" ma anche a "le probabilità dichiarate sono calibrate o no" — lo stesso test che eseguiamo sul nostro modello, che, per la cronaca, abbiamo pubblicato dopo che è risultato peggiore del mercato.
Entrambe le pagine si aggiornano man mano che arrivano i dati e sospendono qualsiasi verdetto finché non ci sono almeno 30 previsioni regolate per sito:
Se i numeri risulteranno favorevoli a uno dei due siti, lo diremo. Abbiamo pubblicato le nostre settimane in perdita, il nostro modello calibrato peggio del mercato e un bug di misurazione che ha temporaneamente gonfiato il nostro closing line value di trenta punti. Il punto di misurare in pubblico è che il risultato non è nostro da scegliere.
Note metodologiche: le previsioni vengono lette una volta al giorno dalle pagine pubbliche dei siti con un user agent identificativo; le pagine grezze sono archiviate privatamente e non vengono mai ripubblicate. L'abbinamento delle partite usa la normalizzazione dei nomi delle squadre con una tabella di alias; i pick non abbinati sono marcati come non verificabili e i pick su competizioni non coperte sono fuori ambito — nessuno dei due conta come perdita. La quota al rilevamento è la migliore quota soft-bookmaker che abbiamo per quella selezione al momento della lettura. Closing line value = quota al rilevamento ÷ sharp closing price − 1 sullo stesso mercato. Non abbiamo alcuna affiliazione con, né alcun rapporto commerciale con, nessuno dei due siti.