Hi ha tota una categoria de webs que publiquen prediccions de futbol gratuïtes cada matí: una llista d’enfrontaments, una aposta, de vegades un percentatge al costat. Les llegeix molta gent. Les verifica gairebé ningú, perquè verificar-ho és feixuc — caldria registrar què s’havia predit abans del xiulet inicial, esperar els resultats i saber quin preu realment hauries pogut agafar.
Això resulta que és exactament el que la nostra infraestructura ja fa amb els tipsters de Telegram. Així que la vam apuntar a dos dels llocs gratuïts més coneguts, Statarea i Zulubet, i vam començar a mesurar.
Aquest article no és un veredicte. És el mètode, més el primer dia de dades, publicat ara perquè ningú no pugui dir després que vam començar a comptar quan els números ja quedaven bé.
El pas 5 és el que la majoria de serveis de "verificació" salten, i és el que decideix si cap de les altres xifres vol dir res.
| Statarea | Zulubet | |
|---|---|---|
| Prediccions públiques llegides | 65 | 82 |
| Assignades a un partit que cobrim | 19 | 28 |
| Liquidades fins ara | 19 | 5 |
| Encertades | 7 | 2 |
| Precisió | 36.8% | 40.0% |
| Odds mitjanes d’aquelles seleccions | 2.10 | 2.21 |
| Precisió d’equilibri necessària | 47.6% | 45.3% |
Totes dues queden per sota de la precisió que necessitarien amb les quotes que portaven les seves seleccions. I tots dos números no signifiquen res, perquè 19 i 5 prediccions liquidats són soroll. Una sola bona nit els mou deu punts. Tot i així, els publiquem, perquè l’alternativa — esperar en silenci fins que la mostra afavoreixi algú — és com aquest sector es guanya la reputació.
Les dues columnes que importaran d’aquí un mes són les dues últimes. La precisió per si sola no tanca res: un lloc que només recomana favorits amb quotes baixes pot encertar el 70% de les vegades i tot i així perdre diners, cosa que vam mesurar amb detall en un tipster d’IA popular a través de 25,890 partits. El que ho tanca és la precisió contra la taxa d’equilibri a les quotes que hauries pogut agafar, i, més enllà d’això, el closing line value.
De 147 prediccions llegides el primer dia, en vam poder assignar 47. Això no és un fracàs seu ni nostre — aquests llocs cobreixen moltes més competicions que les 83 lligues que preiem. Una predicció d’una lliga que no cobrim no es pot qualificar honestament, així que es deixa de banda i es compta per separat en lloc de descartar-la en silenci o, pitjor, comptar-la com una derrota.
Aquest és el mateix patró que vam trobar auditant tipsters de Telegram: entre 46 canals vam llegir 1,279 seleccions públiques i en vam poder liquidar 567. El subconjunt mesurable sempre és més petit que el registre anunciat, i qualsevol auditoria que no et digui la seva mida et demana que hi confiïs en lloc de verificar-la.
Statarea publica una selecció. Zulubet publica una probabilitat per a local, empat i visitant, i destaca la més alta — cosa que és més del que ofereixen la majoria de llocs gratuïts, i fa que el lloc es pugui comprovar d’una manera més estricta.
Una probabilitat és una afirmació falsable. Si un pronosticador diu 70% en unes quantes-centenes d’ocasions, el resultat hauria de passar aproximadament el 70% de les vegades. Si passa el 50% de les vegades, el número és decoració. Ara desem cada probabilitat que publica Zulubet juntament amb el resultat final, de manera que amb el temps aquella pàgina podrà respondre no només "supera la línia de tancament" sinó "les probabilitats declarades estan calibrades o no" — la mateixa prova que fem al nostre propi model, que, per constar, vam publicar després que sortís pitjor que el mercat.
Totes dues pàgines s’actualitzen a mesura que arriben les dades i no emeten cap veredicte fins a almenys 30 prediccions liquidats per lloc:
Si les xifres acaben sent favorables per a qualsevol dels dos llocs, ho direm. Hem publicat les nostres pròpies setmanes perdedores, el nostre propi model pitjor calibrat que el mercat, i un error de mesurament que va inflar temporalment el nostre propi closing line value en trenta punts. El punt de mesurar en públic és que el resultat no el podem triar nosaltres.
Notes de mètode: les prediccions es llegeixen un cop al dia des de les pàgines públiques dels llocs amb un user agent identificatiu; les pàgines en brut s’arxiven de manera privada i no es republiquen mai. L’assignació de partits utilitza normalització de noms d’equip amb una taula d’àlies; les seleccions no assignades es marquen com a no verificables i les seleccions en competicions no cobertes queden fora d’abast — cap de les dues coses no compta com una derrota. El preu en la detecció és el millor preu de soft bookmaker que tenim per a aquella selecció en el moment de la lectura. Closing line value = preu en la detecció ÷ sharp closing price − 1 en el mateix mercat. No tenim cap afiliació amb cap dels dos llocs ni cap relació comercial amb cap dels dos.