Moliyaviy bozorlar uchun mashinali o'qitishda shunday muammo bor: u hatto juda chiroyli backtest'ni ham ishonchsiz qilib qo'yishi mumkin — model qaror qabul qilingan lahzada hali mavjud bo'lmagan ma'lumotni tasodifan olishi mumkin.
Bu mavzuni keng auditoriya uchun alohida nashrda ko'rib chiqdik — «Почему торговый ИИ-бот может ошибочно „знать будущее“ - и как этого избежать» (rus tilida). Unda oddiy til bilan tushuntiriladi: vaqtinchalik ma'lumot sizib chiqishi nima, nega tarixni o'qitish va test qismlariga odatdagidek ajratish ba'zan yetarli emas va nega point-in-time ma'lumotlar kerak — ya'ni o'sha tarixiy lahzada haqiqatda mavjud bo'lgan ko'rinishdagi ma'lumotlar.
Tantoryn AI uchun bu mavzu amaliy ahamiyatga ega.
Ma'lumotlarni tayyorlash va ML-tizimni tekshirish jarayonida biz axborot modelga qachon ochiladi degan printsipni qo'shimcha ravishda qayta ko'rib chiqdik. To'g'ri tarixiy eksperiment uchun ko'rsatkich qaysi sanaga tegishli ekanini emas, balki u tizimga qachon haqiqatda ma'lum bo'lishi mumkinligini ham hisobga olish muhim.
Bu ayniqsa kechikib e'lon qilinadigan, keyinroq qayta ko'rib chiqilishi mumkin bo'lgan yoki hali yakunlanmagan davr bo'yicha hisoblanadigan ma'lumotlar uchun muhim.
Shuning uchun tarixiy ma'lumotlarni tayyorlashda biz oddiy qoidaga amal qilamiz:
agar qaror qabul qilingan lahzada ma'lumot hali mavjud bo'lmagan bo'lsa, model uni tarixiy testda ham ko'rmasligi kerak.
Bunday yondashuv natijalarni qog'ozda kamroq ta'sirchan qilishi mumkin, lekin ayni paytda tizimni tekshirishni qat'iyroq va real sharoitlarga yaqinroq qiladi.
Tantoryn AI uchun bu kengroq ishlab chiqish printsipining bir qismi: avval eksperiment to'g'ri qurilganiga ishonch hosil qilish, va faqat shundan keyin mashinali o'qitish sifatini baholash.
Biz bu yondashuvni loyihaning ma'lumotlarini tayyorlashda va ML-komponentlarini keyingi tekshirishda qo'llashda davom etamiz.