On terve veebisaitide kategooria, mis avaldab igal hommikul tasuta jalgpalliennustusi: mängude nimekiri, soovitus, vahel selle kõrval ka protsent. Neid loevad paljud. Neid kontrollib peaaegu mitte keegi, sest kontrollimine on tülikas — peaksid kirja panema, mida ennustati enne avavilet, ootama tulemusi ja teadma, mis hinnaga oleksid tegelikult saanud panustada.
Täpselt seda meie infrastruktuur juba teeb Telegrami vihjeandjate puhul. Nii et suunasime selle kahe tuntuma tasuta saidi, Statarea ja Zulubet, peale ning hakkasime mõõtma.
See artikkel ei ole otsus. See on meetod koos esimese päeva andmetega, avaldatud nüüd, et keegi ei saaks hiljem väita, et käivitasime kella alles siis, kui numbrid tundusid sobivad.
Loeme avalikud ennustused kord päevas läbi. Üks päring saidi kohta, tuvastatava user agenti ja kontaktlingiga. Arhiveerime toore lehe privaatselt, et kui saidi paigutus muutub ja parser katki läheb, saaksime vahet teha, kas „nemad muutsid lehte” või „nemad muutsid oma valikuid”.
Seome iga ennustuse päris mänguga meie andmebaasis, kasutades sama meeskonnanimede normaliseerimist ja aliasetabelit, mida kasutame tipsterite auditites.
Salvestame hinna sellel hetkel, kui seda loeme — parim hind, mis on selle valiku jaoks saadaval meie jälgitavate pehmete bookie’de seas. Mitte hind, mille hiljem välja mõtleme.
Arveldame ametliku tulemuse järgi ja kui meil on samal turul terav sulgemishind, arvutame closing line value: kas ennustuse hetke hind edestas seda, kuhu turg lõpetas?
Avaldame nimetajad. Kui palju ennustusi lugesime, kui palju suutsime seostada, kui palju arveldasime ja kui paljudel oli mõõdetav closing line.
samm on see osa, mille enamik „verifitseerimis”teenuseid vahele jätab, ja see on osa, mis otsustab, kas mõni muu number üldse midagi tähendab.
| Statarea | Zulubet | |
|---|---|---|
| Avalikke ennustusi loetud | 65 | 82 |
| Seotud meie hõlmatud mänguga | 19 | 28 |
| Seni arveldatud | 19 | 5 |
| Õige | 7 | 2 |
| Täpsus | 36.8% | 40.0% |
| Nende valikute keskmine koefitsient | 2.10 | 2.21 |
| Vajalik tasuvuse piiriks vajalik täpsus | 47.6% | 45.3% |
Mõlemad jäävad alla täpsusele, mida nad oma koefitsientide juures vajaksid. Ja mõlemad numbrid on sisuliselt mõttetud, sest 19 ja 5 arveldatud ennustust on müra. Üks hea õhtu nihutab neid kümne punkti võrra. Trükime need siiski välja, sest alternatiiv — vaikselt oodata, kuni valim kedagi soosima hakkab — ongi see, kuidas see tööstus oma maine teenib.
Kaks veergu, mis kuu aja pärast tegelikult loevad, on viimased kaks. Täpsus üksi ei otsusta kunagi midagi: sait, mis pakub ainult madala koefitsiendiga favoriite, võib olla 70% ajast õige ja ikkagi raha kaotada, mida me mõõtsime detailselt ühe populaarse AI tipsteri puhul 25,890 mängu jooksul. Otsustav on täpsus võrreldes tasuvuse piiriga koefitsientidel, mida oleksid saanud võtta, ja sellest edasi closing line value.
Esimesel päeval loetud 147 ennustusest suutsime seostada 47. See ei ole nende ega meie läbikukkumine — need saidid katavad palju rohkem võistlusi kui 83 liigat, millele me hinnad anname. Ennustust liigale, mida me ei kata, ei saa ausalt hinnata, nii et see jäetakse kõrvale ja loetakse eraldi, mitte ei visata vaikselt ära või, veel hullem, ei loeta kaotuseks.
Sama mustrit nägime Telegrami tipsterite auditites: 46 kanali peale lugesime 1,279 avalikku valikut ja suutsime arveldada 567 neist. Mõõdetav alamhulk on alati väiksem kui avalik rekord ning iga audit, mis ei ütle sulle selle suurust, palub end usaldada, mitte kontrollida.
Statarea avaldab vihje. Zulubet avaldab kodu, viigi ja võõrsil tõenäosuse ning tõstab suurima esile — see on rohkem kui enamik tasuta saite pakub ja teeb saidi rangemalt kontrollitavaks.
Tõenäosus on falsifitseeritav väide. Kui prognoosija ütleb mõnesaja korral 70%, peaks tulemus juhtuma umbes 70% juhtudest. Kui see juhtub 50% juhtudest, siis on number ainult dekoratsioon. Salvestame nüüd iga Zulubeti avaldatud tõenäosuse koos lõpptulemusega, nii et ajapikku saab see leht vastata mitte ainult küsimusele „kas see lööb sulgemishinda”, vaid ka „kas toodud tõenäosused on üldse kalibreeritud” — sama test, mida rakendame oma mudelile, mille me, olgu märgitud, avaldasime pärast seda, kui see tuli turust halvem.
Mõlemad lehed uuenevad, kui andmed laekuvad, ja ei anna enne hinnangut, kui kummalgi saidil on vähemalt 30 arveldatud ennustust:
Kui numbrid osutuvad kummagi saidi jaoks meelitavaks, ütleme seda otse. Oleme avaldanud omaenda kaotatud nädalad, omaenda mudeli, mis oli turust halvemini kalibreeritud, ja mõõtmisvea, mis paisutas ajutiselt meie enda closing line value’i kolmekümne punkti võrra. Avalikult mõõtmise mõte on see, et tulemus ei ole meie valida.
Märkused meetodi kohta: ennustused loetakse kord päevas saitide avalikelt lehtedelt identifitseeriva user agentiga; toored lehed arhiveeritakse privaatselt ega avaldata uuesti. Mängude seostamine kasutab meeskonnanimede normaliseerimist koos aliasetabeliga; seostamata valikud märgitakse kontrollimatuks ja hõlmamata võistluste valikud jäävad välja ulatusest — kumbki ei lähe kaotuseks. Hind tuvastamise hetkel on parim pehme bookie hind, mis meil selle valiku jaoks lugemise ajal on. Closing line value = hind tuvastamise hetkel ÷ terav sulgemishind − 1 samal turul. Meil ei ole kummagi saidiga sidet ega ärisuhet.