On olemassa kokonainen verkkosivustojen luokka, joka julkaisee ilmaisia jalkapalloennusteita joka aamu: ottelulista, vihje, joskus sen vieressä prosentti. Niitä lukee paljon väkeä. Niitä tarkistaa lähes kukaan, koska tarkistaminen on työlästä — pitäisi kirjata, mitä ennustettiin ennen aloitusta, odottaa tulokset ja tietää, millä hinnalla olisi oikeasti voinut pelata.
Sattumalta juuri tätä infrastruktuurimme tekee jo Telegram-vihjaajille. Joten kohdistimme sen kahteen tunnetumpaan ilmaissivustoon, Statareaan ja Zulubetiin, ja aloitimme mittaamisen.
Tämä artikkeli ei ole tuomio. Se on menetelmä sekä ensimmäisen päivän data, julkaistuna nyt, jotta kukaan ei voi myöhemmin syyttää meitä siitä, että käynnistimme kellon vasta kun luvut alkoivat näyttää sopivilta.
Kohta 5 on se osa, jonka useimmat "verification"-palvelut ohittavat, ja juuri se ratkaisee, merkitsevätkö muut luvut mitään.
| Statarea | Zulubet | |
|---|---|---|
| Julkisia ennusteita luettu | 65 | 82 |
| Yhdistetty seuraamaamme otteluun | 19 | 28 |
| Selvitetty toistaiseksi | 19 | 5 |
| Oikein | 7 | 2 |
| Tarkkuus | 36.8% | 40.0% |
| Keskimääräiset kertoimet näissä valinnoissa | 2.10 | 2.21 |
| Tarvittava break-even-tarkkuus | 47.6% | 45.3% |
Molemmat jäävät alle sen tarkkuuden, joka niiden pitäisi saavuttaa niiden valinnoilleen tarjoamilla kertoimilla. Ja molemmat luvut ovat merkityksettömiä, koska 19 ja 5 selvitettyä ennustetta on kohinaa. Yksi hyvä ilta siirtää niitä kymmenellä prosenttiyksiköllä. Julkaisemme ne silti, koska vaihtoehto — odottaa hiljaa, kunnes otos imartelee jotakuta — on se tapa, jolla ala ansaitsee maineensa.
Kaksi saraketta, joilla on merkitystä kuukauden päästä, ovat kaksi viimeistä. Pelkkä tarkkuus ei koskaan ratkaise mitään: sivusto, joka antaa vihjeitä vain lyhyen hinnan suosikeista, voi olla oikeassa 70% ajasta ja silti tehdä tappiota, kuten mittasimme yksityiskohtaisesti suositulla AI-vihjaajalla 25,890 ottelun otoksessa. Ratkaisevaa on tarkkuus suhteessa break-even-prosenttiin niillä kertoimilla, jotka olisi voinut ottaa, ja sen lisäksi closing line value.
Ensimmäisen päivän 147 luetusta ennusteesta pystyimme yhdistämään 47. Se ei ole heidän eikä meidän epäonnistuminen — nämä sivustot kattavat paljon useampia kilpailuja kuin ne 83 liigaa, joille me hinnoittelemme. Ennustetta sarjasta, jota emme kata, ei voi arvioida rehellisesti, joten se jätetään sivuun ja lasketaan erikseen sen sijaan, että se pudotettaisiin hiljaa pois tai, vielä pahempaa, kirjattaisiin tappioksi.
Sama kuvio löytyi Telegram-vihjaajia auditoidessamme: 46 kanavan kautta luimme 1,279 julkista valintaa ja pystyimme selvittämään niistä 567. Mitattava osajoukko on aina pienempi kuin ilmoitettu tulos, ja mikä tahansa auditointi, joka ei kerro sen kokoa, pyytää uskoa eikä tarkistamista.
Statarea julkaisee vihjeen. Zulubet julkaisee todennäköisyyden kotiin, tasapeliin ja vieraalle, ja korostaa suurimman — mikä on enemmän kuin useimmat ilmaissivustot tarjoavat, ja tekee sivustosta tarkistettavan tiukemmalla tavalla.
Todennäköisyys on falsifioitava väite. Jos ennustaja sanoo 70% muutamissa sadoissa tapauksissa, lopputuloksen pitäisi toteutua noin 70% ajasta. Jos se toteutuu 50% ajasta, luku on koristetta. Tallennamme nyt jokaisen Zulubetin julkaisemien todennäköisyyksien arvon yhdessä lopullisen tuloksen kanssa, joten ajan mittaan kyseinen sivu voi vastata paitsi kysymykseen "lyökö se closing linen", myös kysymykseen "ovatko ilmoitetut todennäköisyydet lainkaan kalibroituja" — sama testi, jonka ajamme omalle mallillemme, jonka julkaisimme, kun se tuli ulos markkinaa huonommin kalibroituna.
Molemmat sivut päivittyvät datan tullessa ja pidättäytyvät lopullisesta arviosta, kunnes kussakin sivustossa on vähintään 30 selvitettyä ennustetta:
Jos luvut osoittautuvat jommallekummalle sivustolle suotuisiksi, sanomme sen. Olemme julkaisseet omat tappiolliset viikkomme, oman mallimme huonomman kalibroinnin kuin markkinan, ja mittausvirheen, joka hetkellisesti paisutti omaa closing line valueamme kolmekymmenellä prosenttiyksiköllä. Julkisen mittaamisen pointti on, ettei tulos ole meidän valittavissamme.
Menetelmähuomiot: ennusteet luetaan kerran päivässä sivustojen julkisilta sivuilta tunnistettavalla user agentilla; raakasivut arkistoidaan yksityisesti eikä niitä koskaan julkaista uudelleen. Otteluiden yhdistäminen käyttää joukkueiden nimien normalisointia aliastaulukon kanssa; yhdistämättömät valinnat merkitään tarkistamattomiksi ja katteettomien kilpailujen valinnat rajataan ulkopuolelle — kumpaakaan ei lasketa tappioksi. Hinta havaintohetkellä on paras hallussamme oleva pehmeän vedonvälittäjän hinta kyseiselle valinnalle lukemisaikaan. Closing line value = hinta havaintohetkellä ÷ sharp closing price − 1 samalla markkinalla. Meillä ei ole sidonnaisuutta eikä kaupallista suhdetta kumpaankaan sivustoon.