Besh kun ichida biz savdo signallarini izlashning bir nechta yondashuvini tekshirdik. Uchta nomzod rad etildi, bittasini ma'lumotlardagi xato tufayli qayta tekshirishga to'g'ri keldi, yana biri esa statistik sabablarga ko'ra tekshiruvdan o'tmadi.
Haftaning asosiy natijasi — yangi savdo modeli emas. Signallaridan foydalanish uchun yetarli asos beradigan nomzodni hali olmadik. Ammo qaysi yondashuvlar tekshiruvdan o'tmayotganini va nima uchun ekanini yaxshiroq tushuna boshladik.
Modelni o'qitish va prognozlar olish hali bu prognozlar moliyaviy qarorlar uchun yaroqli ekanini isbotlash degani emas.
Aralashtirib yuborish mumkin bo'lmagan to'rt xil natija
Bu hafta shuni ko'rsatdiki, yagona «model o'tmadi» maqomi juda qo'pol. Uning ortida turli vaziyatlar turadi va ular turli harakatlarni talab qiladi.
Noto'g'ri tekshiruv — ma'lumotlar yoki jarayondagi xato tufayli natijadan foydalanib bo'lmaydi.
Dalillar yetarli emas — ustunlik kerakli ishonch darajasida tasdiqlanmagan.
Ruxsat etilgan yechim yo'q — qo'llashning tekshirilgan variantlari qabul qilish shartlariga javob bermaydi.
Nomzod rad etildi — model tekshiruvdan o'tmadi va joriy siklda yopildi.
Ma'lumotlardagi xato shuni anglatadi: tuzatish va qayta tekshirish. Dalillarning yetishmasligi signal yo'qligi isbotlangani bilan bir xil emas. Ruxsat etilgan yechimning yo'qligi — statistika haqida emas, yaroqlilik haqidagi salbiy hukm. Rad etilgan nomzod esa natija noqulay bo'lgani uchungina ishga qaytarilmasligi kerak.
Quyida bu to'rt natija amalda qanday ko'ringani haqida.
Tayyor signallarni baholashdan ularni izlashga
Avvallari ML-tadqiqotlarimizning katta qismi allaqachon shakllangan savdo nomzodlarini baholash bilan bog'liq edi. Alohida komponent bozor vaziyatini topardi, so'ngra ML-model uning sifatini baholashga yordam berardi.
Yangi yo'nalish boshqa savol qo'yadi: model oldindan shakllantirilgan nomzodsiz, bevosita bozor holatiga qarab savdo imkoniyatini aniqlay oladimi?
Bu boshqa vazifa. Tayyor signallarni baholaydigan model natijalarini ularni o'zi topishi kerak bo'lgan modelga avtomatik ravishda ko'chirib bo'lmaydi.
Biz ishni ikki masshtabga ajratdik — Intra (qisqa gorizontda tez-tez qabul qilinadigan qarorlar) va Swing (uzunroq gorizontda kamroq qabul qilinadigan qarorlar). Ikkalasi alohida tekshiriladi: bir masshtabdagi muvaffaqiyat yoki muvaffaqiyatsizlik ikkinchisi uchun dalil hisoblanmaydi.
Tadqiqot to'plamiga oddiy chiziqli modellar, qoidalarni ajratib olish usullari, gradient boosting va boshqa yondashuvlar kirdi. Maqsad — eng murakkab algoritmni tanlash emas, balki qaysi yondashuv foydalilikning ishonchli dalillarini berishini tushunish.
Birinchi qadam: model aynan nimani bashorat qilishini aniqlash
Birinchi savol o'qitish maqsadi bo'ldi.
Bozor yo'nalishini bashorat qilish mumkin. Harakatning potentsial daromadliligini baholash mumkin. Savdo maqsadiga erishiladimi yoki yo'qmi — shuni bashorat qilish mumkin. Bular turli vazifalar va ulardan birida muvaffaqiyat boshqasida muvaffaqiyatni kafolatlamaydi.
Yangi yo'nalish uchun biz savdo xarajatlarini hisobga olgan holda, belgilangan gorizontdagi bozor harakatining potentsial natijasini baholashni tanladik.
Bunda biz ikki narsani ajratdik: model bashorat qilishni o'rganadigan natija va ijro hamda pozitsiyani boshqarish qoidalarini hisobga olgan holda real savdo qarori beradigan natija.
Bu farq dastlabki tekshiruvdayoq muhim bo'lib chiqdi. Ma'lumotlarda harakat yo'nalishi jozibador ko'ringan, ammo ehtimoliy pozitsiya o'z trayektoriyasi tufayli boshqacha yopilgan bo'lardi degan holatlar uchradi. Bozor oxir-oqibat o'sishi mumkin, lekin undan oldin pozitsiyani yopib yuboradigan noqulay harakatdan o'tishi mumkin.
To'g'ri topilgan yo'nalish muvaffaqiyatli bitim degani emas.
Ma'lumotlarni tayyorlashdagi xato
Tadqiqot ma'lumotlarini dastlabki tayyorlashda xato yuz berdi. Ma'lumotlarda yaroqli kuzatuvlar bo'lmasa-da, tekshiruvlarning bir qismi rasman muvaffaqiyatli yakunlanardi. «Bajarildi» texnik maqomi natijaning mazmunan to'g'riligiga mos kelmasdi.
Biz bunday ma'lumotlar to'plamini qabul qilmadik. Xato tuzatildi, haqiqatan ruxsat etilgan kuzatuvlar mavjudligini tekshirish qo'shildi va ma'lumotlar qayta qurildi. Tuzatilgan natija takroriy tekshiruvdan o'tdi.
Bu yerdagi saboq pipeline xato o'z ichiga olishi mumkinligida emas — bu ma'lum. Muhimroq xulosa: tekshiruv faqat dasturiy istisno yo'qligini emas, balki to'g'ri natija mavjudligini tasdiqlashi kerak. Agar barcha kuzatuvlar yaroqsiz bo'lib qolgan bo'lsa, dasturning muvaffaqiyatli yakunlanishi ijobiy tadqiqot hukmiga aylanmasligi kerak.
Birinchi nomzod: oddiy chiziqli model
Birinchi amaliy nomzod Intra uchun chiziqli model bo'ldi.
Bu ataylab qilingan tanlov. Oddiy model murakkabroq algoritmlarga o'tishdan oldin ma'lumotlarda barqaror signal bor-yo'qligini tekshirishga yordam beradi. U taqqoslash nuqtasini ham yaratadi: kelajakdagi murakkab model oddiy usul aniqlay oladigan narsadan ortiq qiymat ko'rsatishi kerak.
Tadqiqot sikli ma'lumotlarni tayyorlash, o'qitish va alohida vaqt davrida tekshirishni o'z ichiga oldi. Birinchi tekshiruv ma'lumotlarni qayta ishlashdagi o'sha xatoga duch keldi, uning natijasi haqiqiy emas deb topildi va tuzatishdan keyin takrorlandi.
Natija salbiy: chiziqli Intra-model uchun tanlov shartlariga javob beradigan ruxsat etilgan qaror qabul qilish variantini topib bo'lmadi.
Bu model statistik qonuniyatlarni aniqlamaydi degani shart emas. Ammo qonuniyatni aniqlash bilan undan savdo qarori uchun foydalanishga ruxsat olish o'rtasida qo'shimcha chegara bor. Chiziqli Intra-nomzod undan o'ta olmadi.
Ikkinchi nomzod: Swing uchun chiziqli model
So'ngra xuddi shu vazifa uzoqroq masshtabda tekshirildi. Salbiy natijaning sababi boshqacha bo'lib chiqdi.
Chiziqli Swing-model tekshiruvni yakunladi, biroq ijobiy qaror uchun dalillar yetarli bo'lmadi.
Bu yerda ikki natijani farqlash muhim. Birinchi holatda model tekshirilgan, lekin undan foydalanishning birorta ruxsat etilgan varianti talablarga javob bermaydi. Ikkinchisida esa ustunlikni ishonchli tasdiqlash uchun ma'lumotlar yetarli emas.
Bu bir xil narsa emas. Birinchi holatda jarayon yaroqlilik haqida salbiy qarorga olib keladi. Ikkinchisida statistik noaniqlik saqlanib qoladi: mavjud ma'lumotlar qabul qilish uchun asos bermaydi, lekin o'z-o'zidan foydali signal umuman yo'qligini isbotlamaydi.
Biz aynan ikkinchi natijani oldik. Nomzod keyingi foydalanishga qabul qilinmadi, ammo biz dalillarning yetishmasligini na qonuniyatlar umuman yo'q degan da'voga, na modelni muvaffaqiyatli deb e'lon qilish uchun bahonaga aylantirmaymiz.
Uchinchi yondashuv: qoidalarga asoslangan modellar
Keyingi yo'nalish qoidalarga asoslangan modellar bo'ldi — butunlay shaffof bo'lmagan prognoz o'rniga ma'lum natija bilan bog'liq shartlar kombinatsiyalarini aniqlaydigan usullar.
Bu bozor xulq-atvorini tahlil qilish uchun potentsial foydali: algoritm qanday qonuniyatlarni topayotgani ko'rinadi. Ammo tushunarlilik ishonchlilikka teng emas. Qoida iqtisodiy jihatdan oqilona ko'rinishi, oson tushuntirilishi va shu bilan birga barqaror statistik ustunlikka ega bo'lmasligi mumkin.
Shuning uchun biz bu modellarga ham chiziqli modellarga qo'llangan tekshiruv tamoyillarini qo'lladik.
Natijalar yana salbiy, ammo sabablari turlicha. Bitta nomzod statistik dalillarning yetarliligini baholash bosqichida rad etildi. Ikkinchisi qabul qilish uchun yetarli dalil to'play olmadi.
Ikkala sikl ham yopildi. Bu natijalar qoidalarga asoslangan usullar umuman foydasiz ekanini isbotlamaydi — ular aniq tekshirilgan nomzodlar va belgilangan shartlarga tegishli. Ammo ular nima uchun tushunarli modelni faqat qarorlarini tushuntirish osonroq bo'lgani uchun ishonchliroq deb hisoblab bo'lmasligini ko'rsatadi. Tushuntirib berilishi modelni o'rganishga yordam beradi. U modelning bashorat qilish va iqtisodiy qiymatini tekshirishning o'rnini bosmaydi.
Murakkabroq modellarga o'tish
Chiziqli yondashuvlar va qoidalarga asoslangan modellardan so'ng biz strukturaviy gradient boostingga o'tdik — chiziqli bo'lmagan bog'liqliklar va belgilarning o'zaro ta'sirini tavsiflay oladigan usulga.
Bu algoritmning ifoda imkoniyatlarini kengaytiradi, lekin yangi xavflarni keltirib chiqaradi: model boshqa vaqt oraliqlarida saqlanmaydigan murakkab qonuniyatlarni topishi mumkin. Shuning uchun murakkablikning o'sishi o'z-o'zidan taraqqiyot hisoblanmaydi.
Intra uchun tadqiqot konfiguratsiyasi tayyorlanib qabul qilindi, so'ngra ma'lumotlar tayyorlandi. Swing uchun hafta oxiriga kelib strukturaviy boostingning alohida tekshiruvi natijasi olindi: qabul qilish uchun dalillar yetarli bo'lmadi.
Murakkabroq usulga o'tish oldingi nomzodlar muammosini avtomatik ravishda bartaraf etmadi. Qolgan yondashuvlar ustida ish davom etmoqda. Ularning kelajakdagi natijalarini oldindan na ijobiy, na salbiy deb hisoblab bo'lmaydi.
Nega biz har bir muvaffaqiyatsiz modelni ijobiy natijaga qadar qayta o'qitmaymiz
Salbiy natijadan keyin sozlamalarni o'zgartirish, boshqa belgilarni tanlash, tanlov shartlarini tuzatish, yana bir necha variantni sinab ko'rish istagi tabiiy ravishda paydo bo'ladi. Ba'zan bunday o'zgarishlar asosli bo'ladi.
Ammo xavf bor: agar tadqiqot doimiy ravishda bitta tekshiruv davriga moslashtirilsa, bu davr asta-sekin o'qitishning bir qismiga aylanadi. Rasman model bu kuzatuvlarni o'quv ma'lumotlari sifatida olmaydi — lekin tadqiqotchi keyingi qadamlarni tanlash uchun tekshiruv natijalaridan foydalanadi. Shu tariqa butun jarayon darajasida ortiqcha moslashish (overfitting) yuzaga keladi.
Shuning uchun biz ishlab chiqish, modellarni tanlash va keyingi mustaqil tekshiruvni ajratamiz. Yangi nomzodlar uchun ketma-ket qabul qilish tartibi amal qiladi. Muvaffaqiyatsiz natija mos metrika paydo bo'lguncha modelni ko'p marta o'zgartirishga avtomatik ruxsat bermaydi.
Moliyaviy mashinaviy o'qitishda bu ayniqsa muhim: zaif qonuniyatlar, shovqin va ko'plab sozlash variantlari osonlikcha ishonarli, ammo beqaror natijalarni yaratadi.
Alohida maqolamiz bilan bog'liqlik
Yaqinda biz alohida material ham e'lon qildik — «Savdo AI'si sukutni tanlaganda: ehtiyotkorlikmi yoki aniqlik illyuziyasimi?» (Dzen, rus tilida).
Unda boshqa, ammo bog'liq muammo haqida so'z boradi: model murakkab vaziyatlarda bashorat qilishdan bosh tortsa, juda yuqori aniqlikni ko'rsatishi mumkin. Tadqiqotlar ko'rsatadiki, metrikaning bunday yaxshilanishi har doim ham ishonchliroq prognoz paydo bo'lganini anglatmaydi.
Batafsil — alohida maqolada.
Hafta davomida nima o'zgardi
Birinchidan, ML-tadqiqotlarning yangi yo'nalishi loyihalashdan amaliy tekshiruvlarga o'tdi.
Ikkinchidan, bir nechta nomzodning salbiy natijalari olindi va saqlandi, bunda qabul qilinmaslik sabablari turlicha bo'ldi.
Uchinchidan, ma'lumotlarni tayyorlashdagi xato aniqlanib tuzatildi, tekshiruvlar esa rasman muvaffaqiyatli, ammo amalda yaroqsiz natijani qabul qilmaydigan qilib kuchaytirildi.
To'rtinchidan, murakkabroq modellarni tekshirish boshlandi — murakkablikning o'sishi avtomatik ravishda yaxshiroq natija beradi degan taxminsiz.
Keyingi qadamlar
Qolgan yondashuvlarni belgilangan tartib bo'yicha tekshirishni davom ettiramiz.
Hozircha tasvirlangan nomzodlarning natijalari yangi savdo modelini qo'llashga tayyor deb e'lon qilish uchun asos bermaydi. Yangi yo'nalishning daromadliligi ham tasdiqlanmagan. Bu tadqiqotlar to'xtatilishini anglatmaydi — bu dastlabki kutilmalar dalillarning o'rnini bosmasligini anglatadi.
Besh kun ichida biz yangi modelni muvaffaqiyatli deb taqdim etish uchun asos olmadik. Buning o'rniga qaysi yondashuvlar hozircha tekshiruvdan o'tmayotgani, bu nima uchun sodir bo'layotgani va tadqiqot intizomini qayerda saqlash kerakligi haqida aniqroq tushunchaga ega bo'ldik.
Ish tugamagan. Modellarni o'qitish davom etmoqda va qolgan yondashuvlar orasida tekshiruvdan o'tadigan va qo'llash uchun asos beradigan nomzod topilishiga ishonchimiz komil.