Съществува цяла категория сайтове, които публикуват безплатни футболни прогнози всяка сутрин: списък с мачове, tip, понякога процент до него. Много хора ги четат. Почти никой не ги проверява, защото проверката е тромава — трябва да записваш какво е било прогнозирано преди началото, да чакаш резултатите и да знаеш каква цена реално би могъл да вземеш.
Оказва се, че точно това вече правим за tipsters в Telegram с нашата инфраструктура. Затова я насочихме към два от по-известните безплатни сайтове, Statarea и Zulubet, и започнахме да измерваме.
Тази статия не е присъда. Това е методът, плюс първият ден данни, публикуван сега, за да не може после никой да ни обвини, че сме пуснали часовника едва когато числата са започнали да изглеждат удобни.
Стъпка 5 е частта, която повечето услуги за "verification" пропускат, и е частта, която решава дали някое от останалите числа означава нещо.
| Statarea | Zulubet | |
|---|---|---|
| Прочетени публични прогнози | 65 | 82 |
| Съпоставени с мач, който покриваме | 19 | 28 |
| Разплатени до момента | 19 | 5 |
| Верни | 7 | 2 |
| Точност | 36.8% | 40.0% |
| Среден коефициент на тези picks | 2.10 | 2.21 |
| Необходима точност за break-even | 47.6% | 45.3% |
И двата резултата са под точността, която им трябва при цените, на които са били взети прогнозите. И двете числа обаче са безсмислени, защото 19 и 5 разплатени прогнози са шум. Една силна вечер ги мести с десет пункта. Въпреки това ги публикуваме, защото алтернативата — да чакаш мълчаливо, докато sample-ът изглежда ласкателен за някого — е начинът тази индустрия да си изработва репутацията.
Двете колони, които ще имат значение след месец, са последните две. Точността сама по себе си никога не решава нищо: сайт, който дава само ниско-котирани фаворити, може да е прав 70% от времето и пак да губи пари, което измерихме подробно при популярен AI tipster в 25,890 мача. Това, което решава, е точност спрямо break-even rate-а при коефициентите, които можеше да вземеш, а след това и closing line value.
От 147 прогнози, прочетени в първия ден, успяхме да съпоставим 47. Това не е провал нито техен, нито наш — тези сайтове покриват много повече състезания от 83-те лиги, които ценим. Прогноза за лига, която не покриваме, не може да бъде оценена честно, затова се отделя и брои отделно, вместо тихо да бъде изпусната или, още по-лошо, отчетена като загуба.
Същият модел открихме и при audit на Telegram tipsters: при 46 канала прочетохме 1,279 публични picks и успяхме да разплатим 567 от тях. Измеримият subset винаги е по-малък от рекламирания record, и всеки audit, който не ви казва размера му, иска да му вярвате, вместо да го проверявате.
Statarea публикува tip. Zulubet публикува probability за домакин, равен и гост, и подчертава най-голямата — което е повече от повечето безплатни сайтове, и прави сайта проверим по-строг начин.
Probability е подлежащо на опровержение твърдение. Ако прогностик каже 70% при няколкостотин случая, резултатът трябва да се случва около 70% от времето. Ако се случва 50% от времето, числото е украса. Сега съхраняваме всяка probability, която Zulubet публикува, заедно с крайния резултат, така че с времето тази страница да може да отговори не само на "beat-ва ли closing line-а", но и на "калибрирани ли са изобщо посочените probabilities" — същият тест, който прилагаме и към нашия собствен model, който, за протокола, публикувахме, след като се оказа по-лошо калибриран от market-а.
И двете страници се обновяват с постъпването на данните и не издават verdict, докато не се натрупат поне 30 разплатени прогнози на сайт:
Ако числата се окажат ласкателни за който и да е от двата сайта, ще го кажем. Публикували сме собствени губещи седмици, наш собствен model, който е по-зле калибриран от market-а, и measurement bug, който за кратко увеличи нашия собствен closing line value с тридесет пункта. Смисълът да измерваш публично е, че резултатът не е твой избор.
Бележки по метода: прогнозите се четат веднъж дневно от публичните страници на сайтовете с идентифициращ user agent; суровите страници се архивират частно и никога не се преиздават. Съпоставянето на мачовете използва нормализация на имената на отборите с таблица с aliases; несъпоставените picks се маркират като непроверими, а picks за непокрити състезания са извън обхвата — нито едното не се брои за загуба. Price at detection е най-добрата цена при soft bookmaker-ите, която държим за този selection в момента на четене. Closing line value = price at detection ÷ sharp closing price − 1 на същия market. Нямаме никаква връзка, нито търговски отношения с нито един от двата сайта.