Bitta backtestda ajoyib ko'rinadigan metod, ko'pincha, kelajak bilan to'qnashuvdan omon qolmaydigan narsadan foydalanmoqda: sizib chiqqan belgi, omadli bo'linish yoki natijaga sezilmasdan moslashtirilgan baholash qoidasi. Biz g'ayrioddiy yaxshi birinchi natijani kamroq emas, ko'proq tekshirish sababi sifatida qabul qilishni o'rgandik.
Sinalayotgan metod uchun ilmiy jihatdan o'rinli bo'lgan hollarda, bizning tekshiruvlarimizga ataylab 'teshik' nazorat ishga tushirish kirishi mumkin: agar eksperimentning ataylab buzilgan, sizib chiqishga ruxsat beruvchi versiyasi 'toza' versiyaga shubhali darajada yaqin natija ko'rsatsa — bu toza konveyerda taxmin qilingandek hammasi ham toza emasligining belgisi. Bu — har bir tadqiqot siklida bajaradigan qadam emas, balki maqsadli diagnostika.
Biz shuningdek butun jarayon davomida xronologik baholashni talab qilamiz — o'qitish har doim faqat sinovdan o'tkazilayotgan narsaga nisbatan o'tmishni ko'radi — va natija ko'rilishidan oldin baholash qoidalarini qotiramiz, shunda chegarani ma'lumotlardan tasodifan chiqqan narsaga moslashtirib bo'lmaydi.
Nihoyat, bularning barchasidan omon qolgan metod baribir barqarorlik testidan o'tishi kerak: daraja va masshtab siljishlari, qo'shilgan shovqin, yetishmayotgan ma'lumotlar va u qurilgan aniq shartlardan tashqarida umumlashtirish talabi. Birinchi tekshiruvlardan o'tgan aksariyat metodlar shu yerda o'z yorqinligining bir qismini yo'qotadi — va bu aynan kerakli narsa.