Bir araştırmacının kendi işini değerlendirmesi, insanların dürüst olmamasından değil, inşa ettiğiniz ve çalışmasını istediğiniz bir şeydeki kusurları görmenin gerçekten zor olmasından dolayı iyi bilinen bir başarısızlık biçimidir. Bu yüzden tek başına öz-rapor hiçbir önemli konuyu çözmez.
Sistemin ne yaptığını etkileyebilecek araştırma veya mühendislik sonuçlarının çoğu — yeni bir model ailesi, yeni bir değerlendirme sözleşmesi, bir runtime değişikliği — nihai onay verilmeden önce, incelenen şeyi inşa etmemiş biri tarafından gözden geçirilir. Bu inceleme yalnızca özeti değil, altta yatan kanıtı doğrudan kontrol eder: hash'ler, veri bölmeleri, tahminler ve metrikler. Kapsamı belirlenmiş ve vaka bazında ifşa edilen sınırlı bir istisna kümesi, doğrudan resmi bir yönetişim kararıyla kapatılır — her iki durumda da resmi onay gereklidir.
Bu süreç düzenli olarak bulgular ortaya çıkarır ve bazen tam bir ret ile sonuçlanır. Bu, sürecin bir başarısızlığı değildir — sürecin çalıştığının göstergesidir. Bağımsız incelemeden geçen bir sonuca daha fazla güvenilir, çünkü tam da reddedilme ihtimali gerçekten vardı.
Bu disiplini iç bürokrasi değil, ürünün bir parçası olarak ele alıyoruz. Bu, işimize yaramayan sonuçlar da dahil olmak üzere, bu sitede araştırma sonuçlarını güvenle yayımlayabilmemizin nedenlerinden biridir.