예측 시장 데이터 다운로드: CSV, Parquet 및 API 내보내기
다운로드 가능한 데이터 세트는 분석에 필요한 증거를 보존하는 형식으로만 유용합니다. 사다리를 하나의 가격으로 평면화하면 작은 파일과 부정직한 백테스팅이 가능합니다.
검사를 위해 CSV를 사용하고 작은 평면 추출의 경우, 대규모 열 연구의 경우 Parquet를 사용하고 경계 또는 증분 쿼리의 경우 REST를 사용합니다. 어떤 배송 방법을 선택하든 시장 식별자, 소스 및 수신 타임스탬프, 입찰/호가 가격-크기 배열, 정산 필드 및 명시적 간격을 유지하십시오. 형식은 바이트가 전달되는 방식을 변경해야 하며 기록된 시장의 의미를 변경해서는 안 됩니다.
작업에 맞는 형식
| 형식 | 가장 적합한 | 주의할 점 |
|---|---|---|
| CSV | 수동 검사 및 작은 상호 운용 가능한 샘플 | 중첩된 사다리는 문서화된 인코딩 또는 하위 테이블이 필요합니다. |
| Parquet | 대규모 스캔, 열 가지치기 및 연구 창고 | 스키마 진화 및 파티션 키는 안정적이어야 합니다. |
| REST JSON | 경계 쿼리, 애플리케이션 및 증분 풀 | 페이지 매김, 제한 및 재시도 의미 체계 |
| WebSocket | 현재 업데이트 및 실시간 시스템 | 재연결, 시퀀스 간격 및 전체 책 시딩 |
잃지 않아야 할 필드
- 원래 형식과 정규화된 형식의 장소, 이벤트, 시장 및 결과 식별자.
- 거래소/소스 시간과 수신/관찰 시간을 별도의 필드로.
- 일치하는 배열 위치에서 입찰 가격, 입찰 크기, 호가 가격 및 호가 크기.
- 템포를 해석하는 데 필요한 캡처 방법, 간격 또는 이벤트 시퀀스.
- 정산 결과 및 참조 값은 이전 행으로 유출되지 않도록 저장됩니다.
- 조용히 0이 되지 않는 안정적인 null 또는 누락된 규칙.
실제로 묻는 질문에 따라 파티션
대규모 깊이 아카이브는 장소 선택성이 높은 장소와 날짜로 파티션되어야 하며, 일치하는 작업 부하가 있는 안정적인 시장 또는 자산 키로 파티션되어야 합니다. 백만 개의 작은 파일은 일반적인 호수 레이아웃을 복사하는 것만큼 비용이 많이 들 수 있으므로 쿼리 엔진을 측정하십시오.
벌크 내보내기에 매니페스트를 보관하십시오. 스키마 버전, 생성 시간, 요청된 필터, 행 또는 관찰 수 및 불완전한 파티션을 기록해야 합니다. 해당 매니페스트는 불투명한 다운로드를 재현 가능한 연구 입력으로 바꿉니다.
DepthFeed 배송 선택 사항
DepthFeed의 정기 연구 경로는 필터링된 과거 창의 경우 REST이고 현재 정규화된 프레임의 경우 WebSocket입니다. 데스크 워크플로는 전체 아카이브와 대규모 연구를 위한 열 배송 패턴을 사용할 수 있습니다. 브라우저 도구는 동일한 기본 스키마를 사용하므로 아이디어를 샘플에서 재현 가능한 백테스팅으로 다시 정의하지 않고도 이동할 수 있습니다.
가장 작은 대표적인 슬라이스로 시작하십시오. 한 장소, 한 시장 창 및 구문 분석, 정렬 및 크기 조정된 채우기를 테스트하기에 충분한 관찰. 이러한 불변식이 통과된 후에만 확장하십시오.
Key takeaways
- 01CSV, Parquet, REST 및 WebSocket는 데이터 의미를 대체할 수 없는 배송 선택 사항입니다.
- 02전체 가격-크기 사다리와 소스 및 수신 타임스탬프를 모두 보존하십시오.
- 03벌크 내보내기에는 재현 가능성을 유지하기 위해 스키마 버전과 매니페스트가 필요합니다.
- 04명시적 null 및 간격은 합성 0 또는 채우기보다 안전합니다.
- 05다운로드를 확장하기 전에 대표적인 시장을 하나 확인하십시오.
다운로드 가능한 데이터 세트는 분석에 필요한 증거를 보존하는 형식으로만 유용합니다. 사다리를 하나의 가격으로 평면화하면 작은 파일과 부정직한 백테스팅이 가능합니다.
무료로 시작