Beş gün içinde işlem sinyali bulmaya yönelik birkaç yaklaşımı test ettik. Üç adayı reddettik, birini veri hatası nedeniyle yeniden kontrol etmek zorunda kaldık, bir diğeri ise istatistiksel nedenlerle doğrulamayı geçemedi.

Haftanın ana sonucu yeni bir işlem modeli değil. Sinyallerini kullanmak için yeterli gerekçe sunan bir adayı henüz elde etmedik. Ancak hangi yaklaşımların doğrulamayı geçemediğini ve nedenini artık daha iyi anlıyoruz.

Bir modeli eğitmek ve tahminler almak, bu tahminlerin finansal kararlar için uygun olduğunu henüz kanıtlamaz.

Birbirine karıştırılmaması gereken dört farklı sonuç

Bu hafta, tek bir “model geçemedi” durumunun fazla kaba olduğu görüldü. Bunun arkasında farklı durumlar var ve bunlar farklı eylemler gerektiriyor.

Geçersiz doğrulama — veri veya prosedürdeki bir hata nedeniyle sonuç kullanılamaz.

Yetersiz kanıt — üstünlük gereken güven düzeyiyle doğrulanmadı.

Kabul edilebilir seçenek yok — test edilen kullanım seçenekleri kabul koşullarını karşılamıyor.

Aday reddedildi — model doğrulamayı geçemedi ve mevcut döngüde kapatıldı.

Veri hatası şu anlama gelir: düzelt ve yeniden kontrol et. Yetersiz kanıt, sinyalin yokluğunun kanıtlanmasıyla aynı şey değildir. Kabul edilebilir bir seçeneğin olmaması istatistik hakkında değil, kullanıma uygunluk hakkında olumsuz bir karardır. Reddedilmiş bir aday ise yalnızca sonuç işe gelmediği için yeniden çalışmaya alınmamalıdır.

Aşağıda bu dört sonucun pratikte nasıl göründüğünü anlatıyoruz.

Hazır sinyalleri değerlendirmekten onları aramaya

Daha önce ML araştırmalarımızın önemli bir kısmı, önceden oluşturulmuş işlem adaylarının değerlendirilmesiyle ilgiliydi. Ayrı bir bileşen bir piyasa durumunu tespit ediyor, ardından bir ML modeli onun kalitesini değerlendirmeye yardımcı oluyordu.

Yeni yön farklı bir soru soruyor: bir model, önceden oluşturulmuş bir aday olmadan, doğrudan piyasanın durumundan bir işlem fırsatını tespit edebilir mi?

Bu farklı bir görev. Hazır sinyalleri değerlendiren bir modelin sonuçları, onları kendisi bulması gereken bir modele otomatik olarak aktarılamaz.

Çalışmayı iki ölçeğe ayırdık — Intra (kısa ufukta daha sık kararlar) ve Swing (daha uzun ufukta daha seyrek kararlar). Her ikisi de ayrı ayrı doğrulanır: bir ölçekteki başarı ya da başarısızlık diğeri için kanıt sayılmaz.

Araştırma setine basit doğrusal modeller, kural çıkarma yöntemleri, gradient boosting ve diğer yaklaşımlar dahil edildi. Amaç en karmaşık algoritmayı seçmek değil, hangi yaklaşımın faydaya dair ikna edici kanıt sunduğunu anlamak.

İlk adım: modelin tam olarak neyi tahmin ettiğini belirlemek

İlk soru eğitim hedefiydi.

Piyasanın yönü tahmin edilebilir. Bir hareketin potansiyel getirisi tahmin edilebilir. Bir işlem hedefine ulaşılıp ulaşılmayacağı tahmin edilebilir. Bunlar farklı görevlerdir ve birindeki başarı diğerinde başarıyı garanti etmez.

Yeni yön için, işlem maliyetlerini hesaba katarak sabit bir ufukta piyasa hareketinin potansiyel sonucunu tahmin etmeyi seçtik.

Bu arada iki şeyi birbirinden ayırdık: modelin tahmin etmeyi öğrendiği sonuç ve yürütme ile pozisyon yönetimi kuralları uygulandığında gerçek bir işlem kararının üreteceği sonuç.

Bu ayrım daha ön kontrolde önemli çıktı. Verilerde hareketin yönünün cazip göründüğü, ancak olası bir pozisyonun izleyeceği yol nedeniyle farklı şekilde kapanacağı durumlar vardı. Piyasa sonunda yükselebilir, ancak önce pozisyonu kapattıracak olumsuz bir hareketten geçebilir.

Doğru tahmin edilen yön, başarılı bir işlem anlamına gelmek zorunda değildir.

Veri hazırlamada bir hata

Araştırma verilerinin ilk hazırlığı sırasında bir hata oluştu. Verilerde kullanılabilir gözlem bulunmamasına rağmen kontrollerin bir kısmı biçimsel olarak başarıyla tamamlanıyordu. “Tamamlandı” teknik durumu, sonucun içerik olarak doğruluğunu yansıtmıyordu.

Bu veri setini kabul etmedik. Hatayı düzelttik, gerçekten izin verilen gözlemlerin varlığına dair bir kontrol ekledik ve verileri yeniden oluşturduk. Düzeltilmiş sonuç tekrar kontrolden geçti.

Buradaki ders bir pipeline'ın hata içerebileceği değil — bu zaten biliniyor. Daha önemli sonuç şu: bir kontrol yalnızca bir yazılım istisnasının olmadığını değil, doğru bir sonucun var olduğunu da doğrulamalıdır. Tüm gözlemler kullanılamaz hale geldiyse, programın başarıyla tamamlanması olumlu bir araştırma kararına dönüşmemelidir.

İlk aday: basit bir doğrusal model

İlk pratik aday Intra için doğrusal bir model oldu.

Bu bilinçli bir seçimdi. Basit bir model, daha karmaşık algoritmalara geçmeden önce verilerde istikrarlı bir sinyal olup olmadığını kontrol etmeye yardımcı olur. Ayrıca bir karşılaştırma noktası oluşturur: gelecekteki karmaşık bir model, basit bir yöntemin tespit edebileceğinin ötesinde değer göstermelidir.

Araştırma döngüsü veri hazırlama, eğitim ve ayrı bir zaman dilimi üzerinde doğrulamayı içeriyordu. İlk doğrulama aynı veri işleme hatasıyla karşılaştı; sonucu geçersiz sayıldı ve düzeltmeden sonra tekrarlandı.

Sonuç olumsuz: doğrusal Intra modeli için seçim koşullarını karşılayan kabul edilebilir bir karar verme seçeneği bulunamadı.

Bu, modelin hiçbir istatistiksel örüntü tespit etmediği anlamına gelmek zorunda değil. Ancak bir örüntüyü tespit etmek ile onu bir işlem kararı için kullanma izni almak arasında ek bir sınır vardır. Doğrusal Intra adayı bu sınırı geçemedi.

İkinci aday: Swing için doğrusal model

Ardından aynı görevi daha uzun bir ölçekte test ettik. Olumsuz sonucun nedeni farklı çıktı.

Doğrusal Swing modeli doğrulamayı tamamladı, ancak olumlu bir karar için kanıtlar yetersiz kaldı.

Burada iki sonucu ayırt etmek önemlidir. Birincisinde model doğrulanmıştır, ancak kabul edilebilir kullanım seçeneklerinden hiçbiri gereksinimleri karşılamaz. İkincisinde ise üstünlüğü güvenle doğrulamak için yeterli veri yoktur.

Bunlar aynı şey değil. İlk durumda prosedür, kullanıma uygunluk hakkında olumsuz bir karara götürür. İkincisinde istatistiksel belirsizlik sürer: mevcut veriler kabul için gerekçe sunmaz, ancak tek başına yararlı bir sinyalin tamamen yokluğunu da kanıtlamaz.

Biz tam olarak ikinci sonucu elde ettik. Aday ileri kullanıma kabul edilmedi, ancak kanıt yetersizliğini ne örüntülerin hiç olmadığı iddiasına ne de modeli başarılı ilan etmek için bir gerekçeye dönüştürüyoruz.

Üçüncü yaklaşım: kural tabanlı modeller

Sıradaki yön kural tabanlı modellerdi — tamamen opak bir tahmin yerine belirli bir sonuçla ilişkili koşul kombinasyonlarını ortaya çıkaran yöntemler.

Bu, piyasa davranışını analiz etmek için potansiyel olarak faydalıdır: algoritmanın hangi örüntüleri bulduğu görülebilir. Ancak yorumlanabilirlik güvenilirlikle aynı şey değildir. Bir kural ekonomik olarak makul görünebilir, kolayca açıklanabilir ve yine de istikrarlı bir istatistiksel üstünlüğe sahip olmayabilir.

Bu nedenle bu modellere de doğrusal modellere uyguladığımız doğrulama ilkelerini uyguladık.

Sonuçlar yine olumsuz, ancak nedenleri farklı. Bir aday, istatistiksel kanıtların yeterliliğinin değerlendirildiği aşamada reddedildi. İkincisi kabul için yeterli kanıt toplayamadı.

Her iki döngü de kapatıldı. Bu sonuçlar kural tabanlı yöntemlerin genel olarak işe yaramaz olduğunu kanıtlamaz — yalnızca test edilen belirli adaylar ve belirlenen koşullar için geçerlidir. Ancak yorumlanabilir bir modelin, yalnızca kararları daha kolay açıklanabildiği için daha güvenilir sayılamayacağını gösterirler. Açıklanabilirlik modeli incelemeye yardımcı olur. Modelin tahmin ve ekonomik değerinin doğrulanmasının yerini tutmaz.

Daha karmaşık modellere geçiş

Doğrusal yaklaşımlar ve kural tabanlı modellerden sonra yapısal gradient boosting'e geçtik — doğrusal olmayan bağımlılıkları ve özellik etkileşimlerini tanımlayabilen bir yöntem.

Bu, algoritmanın ifade gücünü genişletir ancak yeni riskler yaratır: model, başka zaman dilimlerinde geçerliliğini korumayan karmaşık örüntüler bulabilir. Bu nedenle karmaşıklığın artması tek başına ilerleme sayılmaz.

Intra için araştırma yapılandırması hazırlanıp kabul edildi, ardından veri hazırlığı yapıldı. Swing için hafta sonuna doğru yapısal boosting'in ayrı bir doğrulamasının sonucu alındı: kabul için kanıtlar yetersiz kaldı.

Daha karmaşık bir yönteme geçmek, önceki adayların sorununu otomatik olarak ortadan kaldırmadı. Kalan yaklaşımlar üzerindeki çalışmalar sürüyor. Bunların gelecekteki sonuçları önceden ne olumlu ne de olumsuz kabul edilebilir.

Neden her başarısız modeli olumlu bir sonuç alana kadar yeniden eğitmiyoruz

Olumsuz bir sonuçtan sonra ayarları değiştirmek, başka özellikler seçmek, seçim koşullarını düzeltmek, birkaç varyant daha denemek gibi doğal bir istek ortaya çıkar. Bazen bu tür değişiklikler gerekçelidir.

Ancak bir tehlike vardır: araştırma sürekli olarak aynı doğrulama dönemine uyarlanırsa, bu dönem yavaş yavaş eğitimin bir parçası haline gelir. Biçimsel olarak model bu gözlemleri eğitim verisi olarak almaz — ancak araştırmacı sonraki adımları seçmek için doğrulama sonuçlarını kullanır. Böylece tüm süreç düzeyinde aşırı öğrenme (overfitting) ortaya çıkar.

Bu yüzden geliştirmeyi, model seçimini ve sonraki bağımsız doğrulamayı birbirinden ayırıyoruz. Yeni adaylar için sıralı bir kabul prosedürü uygulanır. Başarısız bir sonuç, uygun bir metrik ortaya çıkana kadar modeli defalarca değiştirmek için otomatik bir izin vermez.

Finansal makine öğrenmesinde bu özellikle önemlidir: zayıf örüntüler, gürültü ve çok sayıda ayar seçeneği kolayca ikna edici ama istikrarsız sonuçlar üretir.

Ayrı makalemizle bağlantı

Ayrıca HackerNoon için ayrı bir makale hazırladık: “Bir İşlem AI'ı Sessizliği Seçtiğinde: Temkin mi, Doğruluk Yanılsaması mı?”. Makale şu anda editoryal incelemede; yayımlandığında bağlantısını buraya ekleyeceğiz.

Orada farklı ama ilişkili bir sorun ele alınıyor: bir model zor durumlarda tahmin yapmayı reddederse çok yüksek doğruluk gösterebilir. Araştırmalar, metrikteki bu tür bir iyileşmenin her zaman daha güvenilir bir tahminin ortaya çıktığı anlamına gelmediğini gösteriyor.

Ayrıntılar o makalede olacak.

Bu hafta ne değişti

Birincisi, ML araştırmalarının yeni yönü tasarımdan pratik doğrulamalara geçti.

İkincisi, birkaç adayın olumsuz sonuçları elde edilip kayıt altına alındı ve kabul edilmeme nedenleri farklıydı.

Üçüncüsü, bir veri hazırlama hatası tespit edilip düzeltildi ve kontroller, biçimsel olarak başarılı ama fiilen kullanılamaz bir sonucu kabul etmeyecek şekilde güçlendirildi.

Dördüncüsü, daha karmaşık modellerin doğrulanması başladı — karmaşıklığın artmasının otomatik olarak daha iyi sonuç vereceği varsayımı olmadan.

Sırada ne var

Kalan yaklaşımları belirlenmiş prosedüre göre test etmeye devam ediyoruz.

Şu an itibarıyla, anlatılan adayların sonuçları yeni bir işlem modelini kullanıma hazır ilan etmek için gerekçe sunmuyor. Yeni yönün kârlılığı da doğrulanmış değil. Bu, araştırmaların durduğu anlamına gelmiyor — ön beklentilerin kanıtların yerini tutmadığı anlamına geliyor.

Beş günde yeni bir modeli başarılı olarak sunmak için gerekçe elde etmedik. Bunun yerine hangi yaklaşımların henüz doğrulamayı geçemediğini, bunun neden olduğunu ve araştırma disiplininin nerede korunması gerektiğini daha net anladık.

Çalışma bitmedi. Modellerin eğitimi sürüyor ve kalan yaklaşımlar arasında doğrulamayı geçecek ve kullanım için gerekçe sunacak bir aday bulunacağından eminiz.