특정 유형의 tipster는 과학적으로 들리는 법을 배웠다. 그들은 "AI engine", "thousands of data points", "machine learning models" 그리고 "data scientists with PhDs"로 구성된 팀을 말한다. 그리고 공정하게 말하면, 그들 중 일부는 전적을 전부 공개한다. 모든 예측을 승패와 상관없이 기록해 두고, 하나의 파일로 내려받을 수 있게 해둔다.
우리는 그중 더 큰 곳 하나를 말 그대로 믿고, 공개 데이터셋을 내려받아 단일 연도의 25,890 경기를 분석했다. 아래는 그 숫자가 말해주는 내용이다. 우리 것이 아니라, 전부 그들의 것이다.
어떤 모델이든 먼저 확인할 것은, 무료 가격이 이미 해주는 일을 추가로 하는지 여부다. 그래서 모든 경기마다 tipster의 선택을 가장 단순한 기준선과 비교했다. 북메이커의 선호팀 — 배당이 가장 낮은 팀이다.
둘은 **83%**의 경우 일치했다.
즉, 5번 중 4번은 "AI engine"이 그냥 북메이커가 이미 선호팀으로 만든 쪽을 고른다는 뜻이다. 그건 숨은 가치를 찾아내는 모델이 아니다. 배당을 읽고 그대로 베끼는 것이다.
더 나아가, 각 선택에는 알고리즘의 출력으로 제시되는 "trust" 또는 "confidence" 점수가 붙는다. 우리는 이를 배당이 암시하는 확률과 비교했는데, 둘은 거의 완벽하게 따라간다(상관계수 0.61, 자신 있는 선택일수록 더 높아짐). "confidence score"는 대략적으로 말해, 연구실 가운을 입은 북메이커의 자체 가격이다.
마케팅이 가장 먼저 내세우는 수치는 이것이다. 가장 신뢰도가 높은 선택에서, 정답률이 73% 정도라는 점이다. 보기에는 훌륭하다. 하지만 아무 가치가 없고, 그 이유는 정확히 이렇다.
그 고신뢰 선택들은 평균 배당 1.40의 강한 선호팀이다. 베터가 실제로 신경 써야 하는 계산을 해보자. 배당 1.40에서 73% 승률로 베팅하면, 판돈 1.00당 0.73 × 1.40 = 1.02를 회수한다. — 그 전에 북메이커 마진이 나머지를 깎아먹는다. 결과는 대략 **−0.1%**의 수익률이다. 거의 매번 맞히지만, 서서히 파산한다.
공개된 25,890개 선택 전체를 통틀어, 표시된 배당으로 전부 따라가면 수익률은 **−5.6%**다. 우리 모델 기준이 아니다. 그들의 기준이다.
가장 많은 것을 드러내는 테스트는 tipster의 선택이 북메이커 선호팀과 다른 17%의 경기다. 진짜 모델이라면 유일하게 Edge Score를 보여줄 수 있는 지점이 바로 여기다. 알고리즘이 시장이 모르는 무언가를 안다면, 구독료를 여기서 벌어야 한다.
하지만 그렇지 않다. 그 경기들에서 적중률은 **28.7%**이고 수익률은 **−9.95%**다. 무작정 선호팀만 따라갔으면 손실이 더 적었다. "intelligence"가 가치를 더하는 대신 빼앗는다.
우리는 서비스를 특정하지 않는다. 핵심은 한 회사가 아니라, 형식 전체다. "67% accuracy", "AI-powered", "verified results": 이런 숫자들은 그들이 느끼게 하려는 의미를 갖고 있지 않다. 짧은 배당에서의 정확도는 수익이 아니고, 선호팀을 그대로 따라 하는 모델은 모델이 아니기 때문이다.
이건 우리 자신에게도 기꺼이 비추는 거울이다. TipsAudit가 정확도 수치를 팔지 않는 이유이기도 하다. 우리는 북메이커 마진을 제거한 공정 배당을 공개하고, 더 느슨한 북메이커가 실제로 경기를 잘못 가격 책정한 경우에만 value bet을 표시한다. 그리고 track record에 나오는 헤드라인 수치는 closing line value다. 장기적인 Edge Score와 실제로 상관관계가 있는 유일한 지표이며, 모든 선택에 대해 킥오프 전에, 패배 포함으로 보여준다.
위 데이터의 불편한 진실은, 당신도 그 tipster를 직접 audit할 수 있었다는 점이다. 파일은 처음부터 공개돼 있었다. 대부분의 사람은 열어보지 않는다. 초록색 스크린샷이 가득한 벽이 스프레드시트보다 더 설득력 있어 보이기 때문이다. 우리는 오히려 반대여야 한다고 생각한다.
Data: 공개 tipster results dataset, 단일 시즌의 배당과 결과가 포함된 25,890 경기, pick-vs-favourite 일치 여부, confidence band별 accuracy, 표시된 배당 기준 투자수익률을 분석함. 여기의 내용은 betting advice가 아니며, betting에는 실제 재무 위험이 따른다. 18+, 책임감 있게 이용하세요.