Tek bir backtest'te parlak görünen bir yöntem, çoğu zaman, gelecekle temas ettiğinde hayatta kalmayacak bir şeyi kullanmaktadır: sızmış bir öznitelik, şanslı bir bölme veya sessizce sonuca doğru bükülmüş bir değerlendirme kuralı. Alışılmadık derecede iyi bir ilk sonucu daha az değil, daha fazla inceleme nedeni olarak ele almayı öğrendik.
Test edilen yöntem için bilimsel olarak uygun olduğunda, kontrollerimiz kasıtlı olarak sızıntılı bir kontrol çalışması içerebilir: deneyin kasıtlı olarak bozulmuş, sızıntıya izin veren bir versiyonu, temiz versiyona şüphe uyandıracak kadar yakın bir performans gösteriyorsa, bu, temiz pipeline'da bir şeylerin varsayıldığı kadar temiz olmayabileceğinin bir işaretidir. Bu, her araştırma döngüsünde çalıştırdığımız bir adım değil, hedefe yönelik bir tanı yöntemidir.
Ayrıca baştan sona kronolojik değerlendirme talep ederiz — eğitim, karşı test edildiği şeye göre yalnızca geçmişi görür — ve bir sonuç görülmeden önce değerlendirme kurallarını dondururuz, böylece çıta, verilerin ürettiği şeye uyacak şekilde hareket ettirilemez.
Son olarak, tüm bunlardan sağ çıkan bir yöntemin yine de dayanıklılık testinde ayakta kalması gerekir: seviye ve ölçek kaymaları, eklenen gürültü, eksik veriler ve inşa edildiği tam koşulların ötesine genelleme yapma talebi. İlk kontrolleri geçen yöntemlerin çoğu burada parlaklığının bir kısmını kaybeder — ve amaç da tam olarak budur.