Tahmin Piyasası Veri İndirmeleri: CSV, Parquet ve API Dışa Aktarımları
İndirilebilir bir veri kümesi, analizin ihtiyaç duyduğu kanıtı koruyan bir biçime sahipse faydalıdır. Bir merdiveni tek bir fiyata indirgemek, küçük bir dosya ve dürüst olmayan bir geri test oluşturabilir.
İnceleme ve küçük düz çekimler için CSV, büyük sütunlu araştırmalar için Parquet ve sınırlı veya artımlı sorgular için REST kullanın. Hangi teslim yöntemini seçerseniz seçin, piyasa tanımlayıcılarını, kaynak ve alım zaman damgalarını, teklif/talep fiyat-boyut dizilerini, uzlaşma alanlarını ve açık boşlukları koruyun. Biçim, baytların nasıl teslim edildiğini değiştirmeli, kaydedilen piyasanın anlamını değil.
Biçimi iş yüküne uydurun
| Biçim | En iyisi | Dikkat edin |
|---|---|---|
| CSV | Manuel inceleme ve küçük birlikte çalışabilir örnekler | İç içe geçmiş merdivenler, belgelenmiş bir kodlama veya alt tablo gerektirir |
| Parquet | Büyük taramalar, sütun budaması ve araştırma veri ambarları | Şema evrimi ve bölüm anahtarları istikrarlı olmalıdır |
| REST JSON | Sınırlı sorgular, uygulamalar ve artımlı çekmeler | Sayfalama, sınırlar ve yeniden deneme semantiği |
| WebSocket | Güncel güncellemeler ve canlı sistemler | Yeniden bağlantılar, sıra boşlukları ve tam kitap tohumlaması |
Kaybedilmemesi gereken alanlar
- Mekan, etkinlik, piyasa ve sonuç tanımlayıcıları yerel ve normalleştirilmiş biçimlerinde.
- Borsa/kaynak zamanı ve alım/gözlem zamanı ayrı alanlar olarak.
- Eşleşen dizi konumlarındaki teklif fiyatları, teklif boyutları, talep fiyatları ve talep boyutları.
- Kadansı yorumlamak için kullanılan yöntem, aralık veya olay sırası.
- Uzlaşma sonucu ve önceki satırlara sızmayan referans değerleri.
- Asla sessizce sıfır olmayan istikrarlı bir boş veya eksik kuralı.
Gerçekten sorduğunuz sorular için bölümlendirme
Büyük derinlik arşivleri, mekan ve tarih gibi yüksek seçiciliğe sahip alanlara göre, iş yüküyle eşleştiği yerde istikrarlı bir piyasa veya varlık anahtarına göre bölümlendirilmelidir. Milyonlarca küçük dosya, tek bölümlendirilmemiş dışa aktarım kadar maliyetli olabilir, bu nedenle genel bir göl düzenini kopyalamak yerine sorgu motorunu ölçün.
Toplu dışa aktarımların yanında bir bildirim tutun. Şema sürümünü, oluşturma zamanını, istenen filtreleri, satır veya gözlem sayılarını ve eksik bölümleri kaydetmelidir. Bu bildirim, opak bir indirmeyi tekrarlanabilir bir araştırma girdisine dönüştürür.
DepthFeed teslim seçenekleri
DepthFeed'ün düzenli araştırma yolu, filtrelenmiş geçmiş pencereler için REST ve güncel normalleştirilmiş çerçeveler için WebSocket'dır. Masaüstü iş akışları, büyük çalışmalar için tam arşivi ve sütunlu teslim desenlerini kullanabilir. Tarayıcı araçları aynı temel şemayı kullanır, böylece bir fikir bir örnekten tekrarlanabilir bir geri teste şemayı yeniden tanımlamadan geçebilir.
En küçük temsili dilimle başlayın: bir mekan, bir piyasa penceresi ve ayrıştırmayı, sıralamayı ve boyutlandırılmış bir doldurmayı test etmek için yeterli gözlem. Bu değişmezler geçene kadar ölçeklendirmeyin.
Key takeaways
- 01CSV, Parquet, REST ve WebSocket teslim seçenekleridir, birbirinin yerine kullanılabilecek veri anlamları değildir.
- 02Tam fiyat-boyut merdivenlerini ve hem kaynak hem de alım zaman damgalarını koruyun.
- 03Toplu bir dışa aktarımın tekrarlanabilir kalması için bir şema sürümü ve bildirime ihtiyacı vardır.
- 04Açık boşluklar ve boşluklar, sentetik sıfırlardan veya doldurmalardan daha güvenlidir.
- 05Bir indirmeyi ölçeklendirmeden önce temsili bir piyasayı doğrulayın.
İndirilebilir bir veri kümesi, analizin ihtiyaç duyduğu kanıtı koruyan bir biçime sahipse faydalıdır. Bir merdiveni tek bir fiyata indirgemek, küçük bir dosya ve dürüst olmayan bir geri test oluşturabilir.
Ücretsiz başla