为什么一次回测不能当作结论

先写假设，再看结果

一个可检验的假设要事先写清：收益可能来自哪种机制，哪些可观察的证据会否定它。看到结果之后再补的假设，已经无法被这份结果检验。

这也是研究记录先于结果存在的原因：讨论时对照的是写下的问题，不是一条曲线。

样本外检验在保护什么

在同一份历史数据上反复调整规则，总能找到看起来很好的参数。样本外检验把评估放到未参与开发的数据上，让「规则在没见过的数据上是否仍然成立」成为一个可回答的问题。

重抽样可以用来评估估计的不确定性，但它重排的仍是同一份历史，不能替代按时间顺序留出的样本外检验。

成本与失效条件

无摩擦回测里的收益，在计入交易成本、滑点和容量约束之后可能不复存在。成本要在研究阶段计入，而不是事后修正。

失效条件同样是研究的一部分：哪些证据出现时降低权重、暂停验证或停止使用，要在下结论之前写下来。事后补写的失效条件无法触发。

从一次检验到一条记录

一次回测只是一个数据点。把假设、数据版本、试验台账、样本外结果和失效条件放进同一条可复核的记录里，结论才可能被独立检查——也才可能被撤回。