Os sites de palpites gratuitos de futebol são precisos? Começamos a medi-los, publicamente

Existe toda uma categoria de sites que publicam palpites gratuitos de futebol toda manhã: uma lista de jogos, uma indicação, às vezes uma porcentagem ao lado. Eles são lidos por muita gente. São verificados por quase ninguém, porque checar dá trabalho — seria preciso registrar o que foi previsto antes do apito inicial, esperar os resultados e saber qual preço você realmente poderia ter pego.

Acontece que é exatamente isso que nossa infraestrutura já faz com tipsters no Telegram. Então apontamos isso para dois dos sites gratuitos mais conhecidos, Statarea e Zulubet, e começamos a medir.

Este artigo não é um veredito. É o método, mais o primeiro dia de dados, publicado agora para que ninguém depois possa nos acusar de ter começado a contar o tempo só quando os números ficaram convenientes.

O que realmente fazemos, uma vez por dia

1. Ler as previsões públicas uma vez por dia. Uma requisição por site, com user agent identificável e um link de contato. Arquivamos a página bruta de forma privada para que, se o layout do site mudar e nosso parser quebrar, possamos distinguir entre "eles mudaram a página" e "eles mudaram as indicações".
2. Associar cada previsão a um jogo real em nosso banco de dados, usando a mesma normalização de nomes de equipes e a mesma tabela de apelidos que usamos nas auditorias de tipsters.
3. Registrar o preço no momento em que o lemos — o melhor preço disponível entre as casas de apostas de linha mole que acompanhamos para aquela seleção. Não um preço inventado depois.
4. Apurar pelo resultado oficial, e, quando temos o preço de fechamento forte no mesmo mercado, calcular o valor da linha de fechamento: o preço no momento da previsão foi melhor do que onde o mercado fechou?
5. Publicar os denominadores. Quantas previsões lemos, quantas conseguimos associar, quantas apuramos e quantas tinham uma linha de fechamento mensurável.

O passo 5 é a parte que a maioria dos serviços de "verificação" pula, e é ele que decide se qualquer um dos outros números significa algo.

Primeiro dia

Ambos estão abaixo da taxa de acerto que precisariam ter nos preços que suas indicações carregavam. E ambos os números não significam muita coisa, porque 19 e 5 previsões apuradas são ruído. Uma única noite boa muda tudo em dez pontos. Mesmo assim, estamos publicando, porque a alternativa — esperar em silêncio até a amostra favorecer alguém — é como este setor ganha a sua reputação.

As duas colunas que vão importar daqui a um mês são as duas últimas. Taxa de acerto sozinha nunca resolve nada: um site que só indica favoritos com odds baixas pode acertar 70% das vezes e ainda assim perder dinheiro, como a aritmética de taxa de vitória × odds médias mostra. O que resolve é a taxa de acerto contra a taxa de equilíbrio nas odds que você poderia ter pego e, além disso, o valor da linha de fechamento.

Por que só um terço é medido

Das 147 previsões lidas no primeiro dia, conseguimos associar 47. Isso não é uma falha deles nem nossa — esses sites cobrem muito mais competições do que as 83 ligas que precificamos. Uma previsão em uma liga que não cobrimos não pode ser avaliada com honestidade, então ela é separada e contada à parte, em vez de ser descartada em silêncio ou, pior, contada como derrota.

Esse é o mesmo padrão que encontramos ao auditar tipsters no Telegram: em 46 canais, lemos 1,279 indicações públicas e conseguimos apurar 567 delas. O subconjunto mensurável é sempre menor do que o recorde divulgado, e qualquer auditoria que não informa esse tamanho está pedindo para ser confiada, não verificada.

Zulubet publica probabilidades, o que permite um teste mais rigoroso

A Statarea publica uma indicação. A Zulubet publica uma probabilidade para casa, empate e fora, e destaca a maior — o que já é mais do que a maioria dos sites gratuitos oferece, e torna o site verificável de forma mais rigorosa.

Uma probabilidade é uma afirmação passível de teste. Se um prognosticador diz 70% em algumas centenas de ocasiões, o desfecho deveria acontecer cerca de 70% das vezes. Se acontece 50% das vezes, o número é enfeite. Agora armazenamos toda probabilidade que a Zulubet publica junto com o resultado final, então, com o tempo, essa página poderá responder não só "isso bate a linha de fechamento" mas também "as probabilidades declaradas são mesmo calibradas" — o mesmo teste que aplicamos ao nosso próprio modelo, que, para registro, publicamos depois de ele ficar pior do que o mercado.

O que acontece depois

Ambas as páginas serão atualizadas conforme os dados chegarem e não emitirão qualquer veredito até haver pelo menos 30 previsões apuradas por site:

• Statarea, auditada contra a linha de fechamento
• Zulubet, auditada contra a linha de fechamento

Se os números se mostrarem favoráveis a qualquer um dos sites, diremos isso. Já publicamos nossas próprias semanas perdedoras, nosso próprio modelo com calibração pior que a do mercado e um bug de medição que inflou temporariamente nosso próprio valor da linha de fechamento em trinta pontos. O ponto de medir em público é que o resultado não é nosso para escolher.

Notas de método: as previsões são lidas uma vez por dia nas páginas públicas dos sites com um user agent identificável; as páginas brutas são arquivadas de forma privada e nunca republicadas. O pareamento dos jogos usa normalização de nomes de equipes com uma tabela de apelidos; indicações sem correspondência são marcadas como não verificáveis e indicações em competições fora de cobertura ficam fora do escopo — nenhuma conta como derrota. O preço no momento da detecção é o melhor preço de casa de apostas de linha mole que temos para aquela seleção no momento da leitura. O valor da linha de fechamento = preço na detecção ÷ preço forte de fechamento − 1 no mesmo mercado. Não temos afiliação nem relação comercial com nenhum dos dois sites.