Tantoryn AI'de son üç hafta aynı anda birkaç cepheyi kapsadı: projenin kamuya açık tarafının büyütülmesi, ekibi genişletmeye hazırlık ve uzun bir makine öğrenimi araştırma döngüsünün sürdürülmesi.

Projenin bir sonraki aşamasına hazırlanıyoruz

Tantoryn AI büyüdükçe, projenin iç organizasyonunu yalnızca kurucusu için değil, katılan yeni kişiler için de işleyecek şekilde yeniden şekillendirmeye başladık.

Projenin mimarisinin ve çalışma alanlarının tanımını sistematik bir forma soktuk, roadmap'i güncel hale getirdik ve gelecekteki ekip üyeleri için ayrı bir bağlam oluşturmaya başladık. Roadmap, geliştirme sırasını gösterge niteliğindeki tarihlerden kasıtlı olarak ayrı tutuyor: aşamaların sırası, araştırma çalışmasını önceden katı bir takvime sabitlemeye çalışmaktan daha önemli.

Aynı zamanda ekibi genişletmeye de hazırlanıyoruz. Değerlendirilen ilk roller arasında bir Lead Developer ve bir Community Manager bulunuyor.

Community Manager için, kamuya yönelik özel bir alan kademeli olarak şekilleniyor: web sitesi, yayınlar, sosyal platformlar ve kitlemizden gelen geri bildirimler. İleride, bu işin bir kısmını TAICM — Tantoryn AI Community Manager — aracılığıyla desteklemeyi planlıyoruz, ancak yayınlar ve yanıtlar yine de insan onayından geçmek zorunda kalacak. TAICM'in kendisi şimdilik çalışan bir sistem değil, bir geliştirme yönü.

Kamuya açık tarafımız da büyüdü

Aynı dönemde, Kontrollü İfşa ile Kamuya Açık İnşa modelimizi geliştirmeye devam ettik.

Arkasındaki fikir basit: yalnızca başarılı sonuçlar hakkında değil, araştırmanın nasıl gittiği — kontroller, yanlış çıkan hipotezler ve kararların neden değiştiği — hakkında da konuşmak; bununla birlikte trading çekirdeğini, özel verileri ve sistemin algoritmasını fiilen ortaya çıkaracak ayrıntıları yayımlamamak.

Web sitesinde, iletişim bilgilerini ve projenin kamuya açık kaynaklarına olan bağlantıları genişlettik. Tantoryn AI'nin araştırma yazıları artık Dzen ve Medium'da yayımlanıyor, ayrıca HackerNoon ve diğer kamuya açık platformları da kullanıyoruz ve projenin kendi haberleri tantoryn.com'da kalıyor.

Bu ayrım bizim için önemli. Bir makale, Tantoryn AI'den bağımsız olarak bir sorunu kendi terimleriyle açıklamalı. Bir proje haberi ise tam olarak nerede bu sorunla karşılaştığımızı ve sonuç olarak işimizde neyi değiştirdiğimizi göstermeli.

Bu yüzden aynı materyali bir platformdan diğerine kopyalamamaya, bunun yerine popüler bilim yazılarını projenin nasıl inşa edildiğine dair pratik hikâyeyle bağlamaya çalışıyoruz.

ML'de işe yaramayan birkaç hipotezden geçtik

Yine de ML çalışması bizi önemli bir pratik sonuca götürdü: karmaşık bir model, karmaşık olduğu için değil, yalnızca avantajı daha basit çözümlerle yapılan dürüst bir karşılaştırmadan sağ çıkarsa değerlidir.

Son haftalardaki teknik çalışmaların çoğu, projenin AI tabanlı değerlendirme katmanı olan ML Evaluator etrafında yoğunlaştı.

Zamanla ayrılmış geliştirme ve doğrulama aşamaları, tekrarlanan eğitim çalıştırmaları ve önceden sabitlenmiş deney kuralları kullanarak farklı model ailelerini ve görevi çerçevelemenin farklı yollarını birbiri ardına test ettik.

Sonuçların bir kısmı, modellerin piyasa durumlarını ne kadar iyi sıralayabildiği açısından umut verici görünüyordu. Ancak daha ileri kontroller bir sorunu ortaya çıkardı: iyi bir ML sıralaması, henüz ekonomik açıdan yararlı bir avantajın bulunduğu anlamına gelmiyor.

Bu sonucu başarılı bir trading modeli iddiasına dönüştürmedik. Bunun yerine, o ayarlama hattını durdurduk ve görevin kendisinin nasıl çerçevelendiğini yeniden düşündük. Bu araştırma dalı, kârlılık veya gerçek trading'e hazır olma iddiası olmaksızın, tarihsel bir deney olarak kapatıldı.

Bu, daha temel bir değişikliğe yol açtı. ML Evaluator'ın rolü daha dar bir göreve geri döndürüldü: piyasanın durumu göz önüne alındığında bir trading senaryosunun başarılı bir şekilde gerçekleşme olasılığını tahmin etmek, tüm sistemin ekonomik sonucu ise ayrı olarak test ediliyor. Bunun için başarısız, kısmen başarılı ve başarılı bir sonucu ayırt eden yeni bir sınıflandırma görevi kurduk.

Yeni model bir sinyal gösterdi — ama sıradaki sorun ortaya çıktı

Görevi yeniden çerçeveledikten sonra, yeni bir eğitim döngüsü hazırladık ve modellerden birinin ilk tam kontrolünü gerçekleştirdik.

Sonuç tam da "model iyi" ya da "model kötü" gibi basit bir cevap vermediği için yararlı oldu.

Model, gerçekten de daha umut verici piyasa durumlarını daha az umut verici olanlardan ayırt edebilme yeteneği gösterdi ve bu aşama için belirlenen kontrolleri geçti.

Aynı zamanda, onu piyasa durumunun küçük bir temel özellik grubu üzerine kurulmuş çok daha basit bir referans noktasıyla karşılaştırdık.

Kilit bağımsız kontrolde, basit baseline karmaşık ML modelinden daha güçlü çıktı.

Bu, yaptığımız eğitimi işe yaramaz kılmıyor. Aksine, böyle bir karşılaştırma araştırma kontrollerimizin işlediğini gösteriyor: eklenen karmaşıklık henüz değer kattığını kanıtlamadı.

Bu yüzden şu anda bizim için, iyi görünen bir model rakamını her ne pahasına olursa olsun yükseltmekten çok, basit baseline'ın hangi bilgiye dayandığını ve daha karmaşık modelin verilerden neden daha fazlasını çıkaramadığını anlamak daha önemli.

Bu sorunu ayrıca inceledik

Paralel olarak, bu durumun modern finansal ML'de ne kadar tipik olduğuna baktık — ve bunun Tantoryn AI'ye özgü bir sorundan çok uzak olduğu ortaya çıktı.

Bu araştırmanın bulgularını Medium'da ayrı bir makalede daha ayrıntılı olarak paylaştık: "When a Simple Baseline Beats AI: Why More Complex Doesn’t Always Mean Better".

Finansal zaman serileri üzerine yakın zamandaki araştırmalar karışık bir tablo çiziyor: modern sinir ağı ve Transformer tabanlı yaklaşımlar klasik yöntemleri gerçekten geride bırakabiliyor, ancak her zaman değil. Bazı rejimlerde doğrusal ve otoregresif baseline'lar rekabetçi kalıyor, hatta çok daha karmaşık mimarileri geride bırakıyor.

Dolayısıyla kilit soru, bir modelin ne kadar karmaşık olduğu değil, avantajının aynı veriler, aynı zaman bölmesi ve aynı değerlendirme kurallarıyla geçerliliğini koruyup korumadığıdır.

Bu konuda ayrı bir yazı kaleme aldık: "When a Simple Baseline Beats AI: Why More Complex Doesn’t Always Mean Better".

Bu yazıda, sorunu Tantoryn AI'den bağımsız olarak ele alıyoruz: finansal ML neden basit baseline'lara ihtiyaç duyar, tek bir metrikte kazanmak neden yeterli değildir ve olumsuz bir sonuç neden modeli bir kez daha ayarlamaktan daha yararlı olabilir.

Sırada ne var

ML'deki bir sonraki adım, sistemi varsayılan olarak daha karmaşık hale getirmek değil.

Öncelikle, basit referans noktasının neden yeni serinin ilk test edilen modelinden daha güçlü çıktığını anlamamız gerekiyor. Bundan sonra, diğer yaklaşımların da aynı karşılaştırma ilkesinden geçmesi gerekiyor: eklenen karmaşıklık değer kattığını kanıtlamak zorunda.

Bununla birlikte, Tantoryn AI'nin kamuya açık tarafındaki çalışma ve projenin daha büyük bir ekibe hazırlanması devam edecek.

Dolayısıyla son haftaların ana sonucu tek bir yeni model veya özellik değil. Proje aynı anda üç yönde kademeli olarak daha yapılandırılmış hale geliyor: araştırma, kamuya açık şeffaflık ve gelecekteki bir ekibin organizasyonu.

Ve ML'de, rahatsız edici olsa bile saklamaya değer olduğuna inandığımız bir sonuca yine ulaştık: eğer basit bir baseline karmaşık bir AI'dan daha güçlü çıkıyorsa, doğru sıradaki adım baseline'ı gizlemek değil, nedenini bulmaktır.