I siti gratuiti di previsioni calcistiche sono accurati? Abbiamo iniziato a misurarli, pubblicamente

Esiste un’intera categoria di siti che pubblicano ogni mattina pronostici gratuiti sul calcio: un elenco di partite, un suggerimento, a volte una percentuale accanto. Li leggono in molti. Li verifica quasi nessuno, perché verificare è noioso: bisognerebbe registrare ciò che era stato previsto prima del calcio d’inizio, aspettare i risultati e sapere quale quota si sarebbe potuta davvero prendere.

Ed è esattamente ciò che la nostra infrastruttura fa già per i tipster su Telegram. Così l’abbiamo applicata a due dei siti gratuiti più noti, Statarea e Zulubet, e abbiamo iniziato a misurare.

Questo articolo non è un verdetto. È il metodo, più il primo giorno di dati, pubblicato subito così che nessuno possa poi accusarci di aver fatto partire il cronometro solo quando i numeri sembravano comodi.

Cosa facciamo davvero, una volta al giorno

1. Leggiamo i pronostici pubblici una volta al giorno. Una richiesta per sito, con user agent identificabile e un contatto. Archiviamos privatamente la pagina grezza così che, se il layout del sito cambia e il nostro parser si rompe, possiamo distinguere tra "hanno cambiato la pagina" e "hanno cambiato i pronostici".
2. Associamo ogni pronostico a una partita reale nel nostro database, usando la stessa normalizzazione dei nomi delle squadre e la stessa tabella di alias che usiamo per gli audit dei tipster.
3. Registriamo la quota nel momento in cui la leggiamo — la migliore quota disponibile tra i bookmaker soft che monitoriamo per quella selezione. Non una quota inventata dopo.
4. Confermiamo sul risultato ufficiale, e dove abbiamo la quota di chiusura sharp sullo stesso mercato, calcoliamo il CLV: la quota al momento del pronostico ha battuto dove il mercato ha chiuso?
5. Pubblicheremo i denominatori. Quanti pronostici abbiamo letto, quanti siamo riusciti ad associare, quanti abbiamo confermato e quanti avevano una chiusura misurabile.

Il punto 5 è quello che la maggior parte dei servizi di "verifica" salta, ed è quello che decide se gli altri numeri contano qualcosa.

Primo giorno

Entrambi sono sotto l’accuratezza che servirebbe alle quote dei loro pronostici. E entrambi i numeri non significano nulla, perché 19 e 5 pronostici confermati sono rumore. Una sola buona serata li sposta di dieci punti. Li pubblichiamo comunque, perché l’alternativa — aspettare in silenzio finché il campione fa bella figura — è il modo in cui questo settore si guadagna la reputazione che ha.

Le due colonne che conteranno tra un mese sono le ultime due. L’accuratezza da sola non basta mai: un sito che punta solo favoriti con quota bassa può avere ragione nel 70% dei casi e perdere comunque denaro, come mostra l’aritmetica tra tasso di vittoria e quota media. Quello che conta è l’accuratezza rispetto alla soglia di pareggio alle quote che avresti potuto prendere, e oltre a questo il CLV.

Perché se ne misura solo un terzo

Su 147 pronostici letti nel primo giorno, siamo riusciti ad associarne 47. Non è un fallimento loro o nostro: questi siti coprono molte più competizioni delle 83 leghe che quotiamo. Un pronostico su una lega che non copriamo non può essere valutato in modo onesto, quindi viene messo da parte e contato separatamente invece di essere cancellato in silenzio o, peggio, conteggiato come una perdita.

È lo stesso schema che abbiamo trovato auditando i tipster su Telegram: su 46 canali letti, abbiamo raccolto 1.279 pronostici pubblici e siamo riusciti a confermarne 567. Il sottoinsieme misurabile è sempre più piccolo del record dichiarato, e qualunque audit che non ti dica la sua dimensione ti chiede di fidarti invece di controllare.

Zulubet pubblica probabilità, quindi invita a un test più duro

Statarea pubblica un pronostico. Zulubet pubblica una probabilità per casa, pareggio e trasferta, e mette in evidenza la più alta — che è più di quanto offrano la maggior parte dei siti gratuiti, e rende il sito verificabile in modo più rigoroso.

Una probabilità è un’affermazione falsificabile. Se un previsore dice 70% in alcune centinaia di occasioni, l’evento dovrebbe verificarsi circa il 70% delle volte. Se succede il 50% delle volte, il numero è solo decorativo. Ora archiviamo ogni probabilità pubblicata da Zulubet insieme al risultato finale, così col tempo quella pagina potrà rispondere non solo a "batte la chiusura" ma anche a "le probabilità dichiarate sono calibrate o no" — lo stesso test che applichiamo al nostro modello, che, per la cronaca, abbiamo pubblicato dopo che risultava peggiore del mercato.

Cosa succede dopo

Entrambe le pagine si aggiornano man mano che arrivano i dati e non esprimeranno alcun giudizio finché non avranno almeno 30 pronostici confermati per sito:

• Statarea, auditato contro la quota di chiusura
• Zulubet, auditato contro la quota di chiusura

Se i numeri risulteranno favorevoli a uno dei due siti, lo diremo. Abbiamo pubblicato le nostre settimane in perdita, il nostro modello meno calibrato del mercato e un bug di misurazione che per poco non ha gonfiato il nostro CLV di trenta punti. Il senso di misurare in pubblico è che il risultato non siamo noi a sceglierlo.

Note sul metodo: i pronostici vengono letti una volta al giorno dalle pagine pubbliche dei siti con user agent identificativo; le pagine grezze vengono archiviate privatamente e non ripubblicate. L’associazione delle partite usa la normalizzazione dei nomi delle squadre con una tabella di alias; i pronostici non associati sono segnati come non verificabili e quelli su competizioni non coperte sono fuori ambito — nessuno dei due conta come una perdita. La quota al rilevamento è la migliore quota da bookmaker soft che abbiamo per quella selezione al momento della lettura. CLV = quota al rilevamento ÷ quota di chiusura sharp − 1 sullo stesso mercato. Non abbiamo alcuna affiliazione né rapporto commerciale con nessuno dei due siti.