Существует целая категория сайтов, которые каждое утро публикуют бесплатные прогнозы на футбол: список матчей, выбор, иногда рядом процент. Их читает много людей. Проверяет почти никто, потому что проверка — дело трудоёмкое: нужно зафиксировать, что было предсказано до начала матча, дождаться результата и знать, по какой цене вы реально могли бы зайти.
Именно это наша инфраструктура уже делает для капперов в Telegram. Поэтому мы применили её к двум более известным бесплатным сайтам, Statarea и Zulubet, и начали измерение.
Эта статья — не вердикт. Это метод и первый день данных, опубликованные сейчас, чтобы потом никто не мог обвинить нас в том, что мы начали отсчёт уже после того, как цифры стали удобными.
Шаг 5 — это то, что большинство сервисов «верификации» пропускают, и именно он решает, значат ли что-то все остальные цифры.
| Statarea | Zulubet | |
|---|---|---|
| Прочитано публичных прогнозов | 65 | 82 |
| Сопоставлено с матчем из нашей базы | 19 | 28 |
| На данный момент засчитано | 19 | 5 |
| Верно | 7 | 2 |
| Точность | 36.8% | 40.0% |
| Средний коэффициент на эти ставки | 2.10 | 2.21 |
| Нужная точность для безубыточности | 47.6% | 45.3% |
Обе ниже той точности, которая была бы нужна при коэффициентах, с которыми были сделаны ставки. И обе цифры ничего не значат, потому что 19 и 5 засчитанных прогнозов — это шум. Один удачный вечер сдвигает их на десять пунктов. Мы всё равно публикуем их, потому что альтернатива — молча ждать, пока выборка начнёт льстить кому-то — именно так эта индустрия и зарабатывает свою репутацию.
Две колонки, которые будут важны через месяц, — это последние две. Точность сама по себе ничего не решает: сайт, который ставит только на коротких фаворитов, может попадать в 70% случаев и всё равно терять деньги, что мы подробно измеряли на популярном AI tipster на выборке 25,890 матчей. Решает точность относительно безубыточной вероятности при тех коэффициентах, которые можно было взять, а дальше — closing line value.
Из 147 прогнозов, прочитанных в первый день, мы смогли сопоставить 47. Это не провал ни с их стороны, ни с нашей — эти сайты охватывают гораздо больше турниров, чем 83 лиги, которые мы котируем. Прогноз на лигу, которую мы не покрываем, нельзя честно оценить, поэтому его откладывают и считают отдельно, а не тихо выбрасывают или, что хуже, записывают в проигрыш.
Это та же картина, что мы увидели при аудите капперов в Telegram: по 46 каналам мы прочитали 1,279 публичных ставок и смогли засчитать 567 из них. Измеряемая часть всегда меньше заявленного результата, и любой аудит, который не говорит вам о её размере, просит доверять ему, а не проверять его.
Statarea публикует выбор. Zulubet публикует вероятность для дома, ничьей и гостя и выделяет наибольшую — это больше, чем предлагают большинство бесплатных сайтов, и это делает сайт проверяемым в более строгом смысле.
Вероятность — это фальсифицируемое утверждение. Если прогнозист говорит 70% на протяжении нескольких сотен случаев, исход должен наступать примерно в 70% случаев. Если это происходит в 50% случаев, число — просто украшение. Теперь мы сохраняем каждую вероятность, которую публикует Zulubet, вместе с итоговым результатом, так что со временем эта страница сможет отвечать не только на вопрос «обходит ли она closing line», но и на вопрос «вообще откалиброваны ли заявленные вероятности» — тот же тест, который мы проводим на нашей собственной модели, которую, для протокола, мы опубликовали после того, как она показала результат хуже рынка.
Обе страницы обновляются по мере поступления данных, и мы не будем делать выводы, пока у каждого сайта не наберётся минимум 30 засчитанных прогнозов:
Если цифры окажутся лестными для любого из сайтов, мы так и скажем. Мы публиковали собственные убыточные недели, то, что наша модель хуже откалибрована, чем рынок, и ошибку измерения, которая ненадолго завысила наш собственный closing line value на тридцать пунктов. Смысл публичного измерения в том, что результат не нам выбирать.
Примечания к методике: прогнозы читаются один раз в день с публичных страниц сайтов с идентифицирующим user agent; сырые страницы архивируются приватно и никогда не публикуются повторно. Сопоставление матчей использует нормализацию названий команд с таблицей алиасов; несопоставленные ставки помечаются как непроверяемые, а ставки на турниры вне покрытия — вне области анализа; ни то, ни другое не считается проигрышем. Цена на момент обнаружения — это лучшая цена soft bookmakers, которую мы держим для этого выбора на момент чтения. closing line value = цена на момент обнаружения ÷ sharp closing price − 1 на том же рынке. Мы не связаны и не имеем коммерческих отношений ни с одним из сайтов.