DepthFeed/Polymarket·데이터 품질

Polymarket CLOB WebSocket vs 시간별 아카이브: 해상도가 백테스트를 좌우하는 이유

실제로 거래에 쓸 수 있는 Polymarket 백테스트와 거짓을 말하는 백테스트의 차이는 대개 데이터의 양이 아니라 — 그것이 어떻게 샘플링되었는가에 있다.

DepthFeed··6 min

이벤트 기반(event-driven) 수집은 CLOB websocket에서 곧바로, 변동이 있을 때마다 Polymarket의 order book을 기록한다. 반면 고정 간격(fixed-interval) 아카이브는 시계에 맞춰(가령 한 시간에 한 번) 샘플링하고 그 사이의 모든 것을 버린다. 수 분 만에 정산되는 단기 크립토 시장에서는 간격 샘플링이 한 시장의 전체 생애 중 단 한두 프레임만 포착할 뿐이며 — 바로 이 때문에 백테스트의 신뢰성을 결정하는 것은 파일 크기가 아니라 해상도다.

'해상도'란 실제로 무엇을 뜻하는가

해상도란 book의 상태를 얼마나 자주 기록하는가를 말한다. 여기에는 근본적으로 다른 두 가지 접근이 있다. 고정 간격 샘플링은 시장이 무엇을 하든 상관없이 시계에 맞춰 — 한 시간마다, 1분마다, 수백 밀리초마다 — snapshot을 찍는다. 이벤트 기반 수집은 book이 실제로 변할 때, 즉 새로운 주문, 취소, 체결이 있을 때마다 snapshot을 기록한다.

두 방식은 비슷한 크기의 파일을 만들어 내면서도 전혀 다른 정보를 담을 수 있다. 조용한 시장을 간격 샘플링하면 변하지 않는 book에 행(row)을 낭비하게 되고, 빠르게 움직이는 시장을 간격 샘플링하면 정작 중요한 움직임을 놓치게 된다.

단기 시장의 문제

Polymarket의 up/down 크립토 시장은 5분에서 60분 사이에 정산된다. 5분짜리 BTC 시장을 생각해 보자. 시간별 아카이브는 이 시장을 0번 또는 1번 포착할 수 있다 — 시장의 전체 생애 동안 book을 단 하나도 갖지 못할 수도 있다는 뜻이다. 분 단위 아카이브라면 약 다섯 프레임을 주지만, 그 어느 것도 당신의 전략이 실제로 행동했을 순간에 맞춰져 있지 않다.

이와 달리 이벤트 기반 수집은 모든 재호가(re-quote)와 체결을 발생하는 그대로 기록한다. 그래서 시장의 전체 궤적 — 개시, spot이 틱(tick)할 때마다의 움직임, 정산을 향해 벌어지는 spread — 이 모두 그대로 재생(replay)할 수 있게 남는다.

나란히 비교하기

시간별 아카이브분 단위 샘플이벤트 기반 (DepthFeed)
5분 시장 커버리지0–1 프레임약 5 프레임모든 변동
spread 확대 포착불가드물게가능
slippage 측정불가근사치가능
spot 움직임과 정렬불가대략적틱 단위 그대로
라이브 전송해당 없음해당 없음중앙값 약 10 ms (측정값)

이벤트 기반 depth를 보관하는 곳이 거의 없는 이유

모든 book 변동을 실시간으로 기록하는 일은 비용이 크다. 시장마다 라이브 websocket 연결을 유지하고, 모든 프레임을 영구 저장해야 하며, 포착하지 못한 것은 결코 사후에 메울 수 없다는 뜻이기 때문이다 — order book 이력은 사후에 재구성할 수 없다. 바로 이 때문에 거래소들도 자신의 book 이력을 제공하지 않고, 대부분의 아카이브는 샘플링된 마지막 가격(last price)에서 멈춘다. DepthFeed는 바로 그 이벤트 기반 depth를 기록하고 제공하기 위해 존재한다.

Key takeaways

  • 01해상도는 파일 크기가 아니라 샘플링 방식의 문제다.
  • 02고정 간격 아카이브는 5–60분 시장의 생애를 놓친다.
  • 03이벤트 기반 수집은 모든 book 변동을 기록하므로 시장의 전체 궤적을 재생할 수 있다.
  • 04order book 이력은 사후에 메울 수 없다 — 누군가 라이브로 포착했을 때에만 존재한다.

실제로 거래에 쓸 수 있는 Polymarket 백테스트와 거짓을 말하는 백테스트의 차이는 대개 데이터의 양이 아니라 — 그것이 어떻게 샘플링되었는가에 있다.

무료로 시작

궁금한 점, 답해 드립니다.

Polymarket의 CLOB websocket은 라이브 book 업데이트를 스트리밍하지만, Polymarket은 그 order book snapshot의 과거 아카이브를 제공하지 않습니다. 당시의 book을 그대로 재생하려면 websocket을 끊김 없이 포착해 저장한 제공자가 필요하며 — 그것이 바로 DepthFeed가 하는 일입니다.