研究

研究才是产品,而非营销

金融机器学习很容易被愚弄,也很容易让人自欺欺人。回测中看似存在的优势,大多其实是数据泄漏、运气,或是一条悄悄改变的评估规则。我们的研究流程正是为了在信任任何结论之前排除这些因素。

一个哪怕间接地“看到”过未来信息的模型,表现会显得比实际情况更好。由于市场数据是序列化且自相关的,泄漏很容易在无意中被引入 —— 通过共享的 scaler、用前瞻窗口构建的特征,或者窥探到决策点之后的标签。我们将防止泄漏视为一等重要的工程要求,而不是事后补救。

每一次划分、拟合和评估步骤都遵循时间顺序。包括预处理和超参数选择在内,后期的任何信息都不会用于影响更早的决策。

一个在研究中表现良好的方法只是一项研究结果,而不是 Production 层面的主张。从研究晋升到任何更高信任等级的状态,都是一个独立、明确的决定 —— 从不会仅凭一个良好的指标自动推断得出。

大多数被测试的方法都不合格。我们会记录原因:哪项检查未通过、哪个假设被打破、哪些证据不充分。一个被理解透彻的负面结果,比一个未被理解的正面结果更有价值。

候选模型和方法在相同的冻结规则和相同的数据边界下进行比较,这样差异反映的是方法本身 —— 而不是不一致的评估设置。

重大研究结论由未参与构建该成果的人员进行审查,核实哈希、数据划分、预测结果和指标,而不是依赖自我报告。

被接受的方法会针对水平与尺度偏移、噪声、数据缺失和时间外推进行压力测试,特征也会被重构,以仅反映每个时间点上因果可获得的信息。

一个被拒绝的方法仍然会教会我们一些东西 —— 关于数据、市场机制,或者我们自身流程中的盲点。公开这一经验教训是 Build in Public 的一部分 —— 也是我们被接受的结果为何更值得信赖(而非相反)的部分原因。

证据阶梯

一个结果不会因为有趣就变成一项主张。它必须一步一步、按顺序爬上这架阶梯 —— 否则就不会被晋升。

在触碰任何数据之前,一个候选想法或方法会在明确的、带版本的合约下被形式化。

该想法会依据在结果被看到之前就已定义好的、冻结的、抗泄漏的评估规则,在历史数据上进行测试。

按时间顺序进行、经过因果重构的验证,确认该结果并非评估设置本身产生的人为假象。

一位未参与构建该方法的评审人核实哈希、数据划分、预测结果和指标 —— 而不是自我报告。

一个独立、明确的决定接受、拒绝该结果,或将其退回以做进一步工作。没有任何东西可以自行晋升。

只有在被接受之后,一个方法才会针对实时市场进行观察 —— 依然是虚拟的,依然会被公开报告。

Tantoryn AI 并不试图重新发明机器学习。我们使用成熟可靠的现有研究和经过验证的方法,然后在将任何东西用于真实市场决策之前,应用 Tantoryn 特有的因果性、抗泄漏验证以及兼容性测试。