2026년 7월 23일, 우리는 공개 실험의 규칙을 고정했다. 사이트가 게시하는 모든 value signal을 가져와 30분마다 실시간 Betfair 가격과 대조하고, 수수료 반영 후 교환소 가격이 우리의 공정 확률을 최소 2.5% 이상 넘으면 드라이런 베팅을 기록하는 방식이었다. 시뮬레이션 잔고에 Half-Kelly stake를 적용하고, 실제 결과로 정산하며, 모든 의사결정을 공개 원장에 남겼다. 파일에는 해시와 타임스탬프를 찍어, 우리를 포함해 누구도 기준선을 바꿀 수 없게 했다.
두 달과 262건의 정산된 베팅이 지난 뒤, 우리는 이 실험을 종료한다. 기준을 통과하지 못해서가 아니다. 원장을 제대로 들여다본 뒤 드러난 결과 때문이었다.
| Value | |
|---|---|
| 정산된 베팅 수 | 262 |
| 승률 / 평균 배당 2.50에서의 손익분기점 | 43.9% / 40.0% |
| ROI, stake-weighted (half-Kelly) | +3.4% |
| ROI, flat 베팅당 1 unit | +0.8% |
| Pinnacle 종가 대비 closing line value | +2.5%, 베팅의 61%가 양수 |
| 처음 공개한 CLV | +6.5%, 베팅의 83%가 양수 |
마지막 두 줄이 불편한 부분이다. 이번 주까지 원장은 Betfair back price와 Pinnacle의 raw 종가를 비교하고 있었다. Pinnacle의 raw 배당에는 마진이 포함되어 있으며, 이 경기들에서는 약 4.95%의 overround, 즉 선택지당 대략 1.7포인트 수준이다. 교환소 가격에는 마진이 없다. 따라서 교환소 가격이 raw 북메이커 가격을 "이기는" 것은 거의 구조적으로 당연하며, 우리가 공개한 CLV는 약 4포인트 부풀려져 있었다.
사전 등록된 규칙은 "Pinnacle 종가 대비 같은 북의 CLV"라고 적혀 있었다. 같은 북이라면 같은 종류의 가격을 뜻해야 하고, 이 경우 다른 페이지들에서 쓰는 동일한 power devig를 적용한 devigged close를 의미한다. 그 방식으로 다시 계산하자 원장상의 모든 베팅 CLV가 수정되었고, 평균은 +6.5%가 아니라 +2.5%였다. 이것은 이번 달 우리가 찾아내고 공개한 두 번째 측정 오류다. 첫 번째는 인플레이 가격을 종가로 사용한 것이었다. 우리는 이런 문제를 우리가 먼저 공개하는 편이 낫다고 본다.
전체 수치는 너무 깔끔해서 잡음으로 보기 어려운 분리를 가린다.
| 구간 | Bets | ROI |
|---|---|---|
| 공정가가 오래됨(벤치마크 조회가 2h 이상 오래됨) | 77 | −14.8% |
| 킥오프 3~8시간 전에 베팅 | 59 | −21.0% |
| Betfair 유동성 500 미만 | 115 | −7.0% |
| 클린 코어: 최신 공정가, 3h 미만, 유동성 ≥ 500 | 119 | +15.3% weighted, +2.4% flat |
| 코어 밖 전체 | 143 | −6.3% |
손실 구간 세 곳 모두에는 단순한 부진이 아니라 메커니즘이 있다.
오래된 공정가. 우리의 공정 확률은 sharp market에서 도출된다. 그 시장의 최신 실시간 조회가 2시간 이상 오래되면, 코드는 신호가 처음 감지됐을 때 기록된 공정가로 되돌아간다. 때로는 며칠 전 값이다. 며칠 전 가격과 비교한 "edge"는 대체로 가치가 아니라 이후 시장이 움직인 결과다. 패턴은 분명하다. 이런 베팅들은 가장 높은 CLV를 보였고 결과는 가장 나빴다.
너무 이른 실행. 우리는 킥오프 2.5시간보다 더 앞선 베팅에 2%의 추가 edge를 반영했다. 충분하지 않았다. 공정가는 킥오프와의 거리가 멀수록 단순히 악화된다. 라인업, 뉴스, 자금은 나중에 들어온다.
얇은 유동성. 명세서 자체가 낮은 유동성에서 표시되는 Betfair 가격은 "실제로 그 수량만큼 체결되지 않을 수 있으며" 결과를 좋게 보이게 할 수 있다고 경고했다. 실제로 그랬다. 유동성 500 미만에서는 CLV가 더 좋아 보였고 결과는 더 나빴다. 존재하지 않는 가격이 보일 때 전형적으로 나타나는 모습이다.
많이 언급된 "edge paradox" — 가장 큰 claimed edge, 8~12%의 베팅이 −34.9%로 가장 크게 손실 난 현상 — 은 다른 각도에서 본 같은 결론이다. 가장 큰 edge는 과거 데이터, 조기 실행, 또는 얇은 유동성에 치우쳐 있었다. Betfair에서 10% edge는 데이터 산물이다.
클린 코어는 stake-weighted 기준 +15.3%다. 전략처럼 들린다. 하지만 flat stake로 보면 119건에서 +2.4%이고, 0을 충분히 포함하는 구간 안에 있다. 차이는 우연히 맞아떨어진 17건의 큰 half-Kelly 베팅이다. Kelly sizing은 당신의 edge 추정치를 그대로 증폭시키고, 추정이 부풀려진 구간(위의 세 구간)에서는 손실도 증폭했다. 작은 샘플에서의 weighted ROI는 누가 운이 좋았는지 말해줄 뿐, edge가 있는지는 말해주지 않는다.
그래서 v1에 대한 정직한 요약은 시작 전에 적어둔 그것이다. 우리 자체 시뮬레이션은 교환소의 value-signal edge가 거의 0이라고 보였고, 262건의 베팅은 그걸 반박하지 못했다.
v1의 원장에 세 가지 필터를 적용하고 +15%를 게시하면 된다. 하지만 그것은 이 사이트가 tipster들을 비판할 때 가장 강하게 지적하는 사후 선택이며, 사전 등록은 바로 그런 행위를 막기 위해 존재한다. v1은 실행된 그대로 남는다. 수정된 CLV를 포함한 채, 누구도 편집할 수 없는 원장 위에.
대신, 세 가지 교훈은 별도로 사전 등록된 후속 실험 TIPS-EXP-003의 규칙이 되었다. 최신 공정가만 허용하거나 아니면 건너뛰기, 킥오프 3시간 이내에만 실행, 유동성 최소 500, ROI는 weighted와 flat 둘 다 보고, CLV는 devigged close 대비 산출. 그 gate는 v1보다 더 엄격하다. 150건 이상의 베팅, flat-stake ROI가 0보다 높고 0을 제외하는 구간이 있어야 한다. 사전 가설은 "대체로 손익분기점, 약간 플러스일 수도 있음"이다. 오늘 시작했고, 자체 해시와 타임스탬프가 있으며, 원장은 여기서 실시간으로 볼 수 있다.
v2도 결국 0 근처에서 끝난다면, 그것이 결과이고 그대로 공개될 것이다.
Method notes: 2026년 7월 18일과 9월 21일 사이에 TIPS-EXP-002의 고정된 규칙 아래 262건의 베팅이 기록되었다. 공용 레코드 저장소에는 SHA-256과 OpenTimestamps 앵커가 포함된 전체 autopsy document가 있다. CLV = Betfair back price × devigged Pinnacle closing probability − 1. Flat ROI = 승리 시 (odds − 1) × 0.98, 패배 시 −1의 평균. 별도 언급이 없으면 구간 ROI는 stake-weighted다.