Исследователь, оценивающий собственную работу, — известная точка отказа не потому, что люди нечестны, а потому что по-настоящему сложно увидеть изъяны в том, что ты сам создал и хочешь, чтобы это работало. Поэтому один лишь самоотчёт не решает ничего значимого.
Большинство исследовательских или инженерных результатов, способных повлиять на поведение системы — новое семейство моделей, новый контракт оценки, изменение рантайма, — проходят проверку тем, кто не участвовал в создании проверяемого, прежде чем будет дано финальное одобрение. Эта проверка изучает исходные доказательства напрямую: хэши, разбиения данных, предсказания и метрики, а не только резюме. Ограниченный набор исключений, с чётко определённой и раскрытой в каждом случае областью, закрывается напрямую отдельным формальным решением руководства проекта — формальное одобрение в любом случае остаётся обязательным.
Этот процесс регулярно выявляет замечания, а иногда приводит к полному отклонению. Это не сбой процесса — это процесс, который работает. Результату, пережившему независимую проверку, доверяют больше именно потому, что у него был реальный шанс быть отклонённым.
Мы относимся к этой дисциплине как к части продукта, а не к внутренней бюрократии. Это одна из причин, по которой мы можем публиковать исследовательские выводы на этом сайте с уверенностью — включая те, что сложились не в нашу пользу.