Araştırma
Araştırma Üründür, Pazarlama Değil
Finansal makine öğrenimini kandırmak kolaydır, kendinizi kandırmanız da kolaydır. Bir backtest'te avantaj gibi görünen şeylerin çoğu, veri sızıntısı, şans ya da sessizce değişmiş bir değerlendirme kuralıdır. Araştırma sürecimiz, herhangi bir şeye güvenilmeden önce bunu elemek için var.
Finansal ML neden güçlü sızıntı önleme kontrollerine ihtiyaç duyar
Dolaylı olarak da olsa gelecekten bilgi görmüş bir model, olduğundan daha iyi görünecektir. Piyasa verisi ardışık ve otokorelasyonlu olduğundan, sızıntı kazara kolayca ortaya çıkabilir — paylaşılan bir scaler, ileriye dönük bir pencereyle oluşturulmuş bir öznitelik veya karar noktasının ötesine bakan bir etiket yoluyla. Sızıntı önlemeyi ikincil bir konu değil, birinci sınıf bir mühendislik gereksinimi olarak ele alıyoruz.
Kronolojik test
Her bölme, fit ve değerlendirme adımı zaman sırasını takip eder. Ön işleme ve hiperparametre seçimi dahil, daha sonraki bir dönemden hiçbir şey daha önceki bir kararı etkilemek için kullanılmaz.
Araştırma ve Production kabulü birbirinden ayrıdır
Araştırmada iyi performans gösteren bir yöntem, bir araştırma sonucudur, bir Production iddiası değildir. Araştırmadan daha yüksek güven statüsüne terfi, ayrı ve açık bir karardır — asla iyi bir metrikten otomatik olarak çıkarılmaz.
Olumsuz sonuçlar
Test edilen yöntemlerin çoğu elenir. Nedenini kaydederiz: hangi kontrol başarısız oldu, hangi varsayım bozuldu, hangi kanıt yetersizdi. Anlaşılmış olumsuz bir sonuç, anlaşılmamış olumlu bir sonuçtan daha değerlidir.
Model ve yöntem karşılaştırması
Aday modeller ve yöntemler, farkların yöntemi yansıtması için — tutarsız bir değerlendirme kurulumunu değil — aynı dondurulmuş kurallar ve aynı veri sınırları altında karşılaştırılır.
Bağımsız denetimler
Önemli araştırma sonuçları, incelenen şeyi inşa etmemiş biri tarafından; bir öz-rapora güvenmek yerine hash'ler, bölmeler, tahminler ve metrikler kontrol edilerek gözden geçirilir.
Dayanıklılık ve nedensel yeniden kurgu
Kabul edilen yöntemler, seviye ve ölçek kaymalarına, gürültüye, eksik verilere ve zamansal ekstrapolasyona karşı strese sokulur; öznitelikler ise her zaman noktasında yalnızca nedensel olarak mevcut olan bilgiyi yansıtacak şekilde yeniden kurulur.
Başarısız deneyler sistemi neden geliştirir
Reddedilen bir yöntem yine de bize veriler, piyasa rejimi ya da kendi sürecimizdeki bir kör nokta hakkında bir şeyler öğretir. Bu dersi yayımlamak Build in Public'in bir parçasıdır — ve kabul edilen sonuçlarımıza neden daha az değil, daha fazla güvenilebileceğinin de bir parçası.
Kanıt Merdiveni
Bir sonuç, ilginç olduğu için bir iddiaya dönüşmez. Bu merdiveni — sırayla, bir basamak bir basamak — tırmanır, ya da terfi etmez.
Hipotez
Herhangi bir veriye dokunulmadan önce, aday bir fikir veya yöntem açık, sürümlenmiş bir sözleşme altında biçimselleştirilir.
Backtest
Fikir, sonuç görülmeden önce tanımlanmış, dondurulmuş, sızıntıya karşı güvenli değerlendirme kuralları altında tarihsel verilere karşı test edilir.
Sızıntıya karşı güvenli walk-forward doğrulaması
Kronolojik, nedensel olarak yeniden kurulmuş doğrulama, sonucun değerlendirme kurulumunun kendisinin bir yapıntısı olmadığını doğrular.
Bağımsız denetim
Yöntemi inşa etmemiş bir gözden geçiren, bir öz-rapor yerine hash'leri, bölmeleri, tahminleri ve metrikleri kontrol eder.
Nihai onay
Ayrı, açık bir karar sonucu kabul eder, reddeder veya daha fazla çalışma için geri gönderir. Hiçbir şey kendini terfi ettirmez.
Live-paper gözlemi
Bir yöntem yalnızca kabul edildikten sonra canlı piyasalara karşı gözlemlenir — hâlâ sanaldır, hâlâ kamuya açık şekilde raporlanır.
Konumumuz
Tantoryn AI, makine öğrenimini yeniden icat etmeye çalışmaz. Mevcut güçlü araştırmaları ve kanıtlanmış yöntemleri kullanırız, ardından gerçek piyasa kararlarına herhangi bir şey güvenilmeden önce Tantoryn'e özgü nedensel, sızıntıya karşı güvenli doğrulama ve uyumluluk testleri uygularız.
Araştırma disiplininin ötesinde, canlı MAIN/SHADOW raporlarına bakın →