Téléchargements de données de marchés de prédiction : CSV, Parquet et Exports API
Un jeu de données téléchargeable n'est utile que si son format préserve les preuves dont l'analyse a besoin. Aplatir une échelle en un seul prix peut créer un petit fichier et un backtest malhonnête.
Utilisez CSV pour l'inspection et les petits extraits plats, Parquet pour la recherche et les entrepôts de données colonnaires à grande échelle et REST pour les requêtes limitées ou incrémentales. Quelle que soit la méthode de livraison que vous choisissez, conservez les identifiants de marché, les horodatages source et réception, les tableaux bid/ask price-size, les champs de règlement et les lacunes explicites. Le format doit changer la façon dont les octets sont livrés, pas le sens du marché enregistré.
Adaptez le format à la charge de travail
| Format | Idéal pour | À surveiller |
|---|---|---|
| CSV | Inspection manuelle et petits échantillons interopérables | Les échelles imbriquées nécessitent un encodage documenté ou une table enfant |
| Parquet | Analyses à grande échelle, élagage de colonnes et entrepôts de recherche | L'évolution du schéma et les clés de partition doivent être stables |
| REST JSON | Requêtes limitées, applications et extractions incrémentales | Pagination, limites et sémantique de nouvelle tentative |
| WebSocket | Mises à jour actuelles et systèmes en direct | Reconnexions, lacunes de séquence et amorçage du carnet complet |
Champs à ne pas perdre
- Identifiants de lieu, d'événement, de marché et de résultat sous leurs formes natives et normalisées.
- Heure d'échange/source et heure de réception/observation en tant que champs distincts.
- Prix et tailles d'offres, prix et tailles de demandes aux positions de tableau correspondantes.
- Méthode de capture, intervalle ou séquence d'événements nécessaires pour interpréter le rythme.
- Résultat de règlement et valeurs de référence stockés sans fuite dans les lignes précédentes.
- Une convention nulle ou manquante stable qui ne devient jamais silencieusement zéro.
Partitionnez pour les questions que vous posez réellement
Les archives de profondeur importantes doivent être partitionnées par des champs à forte sélectivité tels que le lieu et la date, puis par une clé de marché ou d'actif stable lorsqu'elle correspond à la charge de travail. Un million de petits fichiers peuvent être aussi coûteux qu'un export non partitionné, alors mesurez l'engine de requête plutôt que de copier une disposition de lac générique.
Conservez un manifeste à côté des exports en vrac. Il doit enregistrer la version du schéma, l'heure de génération, les filtres demandés, les nombres de lignes ou d'observations et les partitions incomplètes. Ce manifeste transforme un téléchargement opaque en une entrée de recherche reproductible.
Choix de livraison DepthFeed
Le chemin de recherche régulier de DepthFeed est REST pour les fenêtres historiques filtrées et WebSocket pour les trames actuelles normalisées. Les flux de travail de bureau peuvent utiliser l'archive complète et les modèles de livraison colonnaires pour les études à grande échelle. Les outils de navigateur utilisent le même schéma sous-jacent, de sorte qu'une idée peut passer d'un échantillon à un backtest reproductible sans redéfinir le carnet.
Commencez par la plus petite tranche représentative : un lieu, une fenêtre de marché et suffisamment d'observations pour tester l'analyse, l'ordonnancement et un remplissage dimensionné. Augmentez l'échelle uniquement après que ces invariants soient passés.
Key takeaways
- 01CSV, Parquet, REST et WebSocket sont des choix de livraison, pas des significations de données interchangeables.
- 02Préservez les échelles complètes de prix-taille et les horodatages source et réception.
- 03Un export en vrac nécessite une version de schéma et un manifeste pour rester reproductible.
- 04Les nulles et les lacunes explicites sont plus sûres que les zéros ou les remplissages synthétiques.
- 05Validez un marché représentatif avant de mettre à l'échelle un téléchargement.
Un jeu de données téléchargeable n'est utile que si son format préserve les preuves dont l'analyse a besoin. Aplatir une échelle en un seul prix peut créer un petit fichier et un backtest malhonnête.
Commencer gratuitement