因子试得越多，越容易挑到假的

试得越多，假阳性越多

假设 100 个因子都没有预测能力，而且彼此独立。用 5% 的显著性水平逐个检验，平均会有 5 个显得显著；至少出现一个假阳性的概率是 1 − 0.95¹⁰⁰，约 99.4%。

因子研究里，指标、参数、调仓频率和股票池一组合，候选很容易上百上千。如果只报告最好的结果、不说一共试了多少次，这个结果的显著性就没有多少参考价值。

按试验次数提高门槛

常用的办法有几种。Bonferroni 校正控制“至少出现一个假阳性”的概率，比较保守；Benjamini–Hochberg 方法控制假发现率（FDR），即通过检验的结果中假阳性所占的比例；White 的 Reality Check 及其改进版本检验的是“最好的那个策略是否真的优于基准”，把整个候选集合都考虑在内。

这些方法的共同点是，门槛随试验次数提高。我们的规则是：一个候选因子只有在算上全部试验之后仍然显著，才进入样本外检验。

先讲得出机制，再看统计

统计校正只能减少假阳性，说明不了收益从哪里来。一个因子要讲得出机制：是承担了某种风险而得到补偿，还是来自行为偏差或交易限制。

讲不出机制的规律，即使通过了检验，也更容易在市场参与者或市场环境变化之后消失。

失败的试验也要记下来

上面的校正都需要知道一共试了多少次。所以每次试验，包括失败的、调过参数的、中途放弃的，都要记进台账。没有台账，就算不出真实的显著性。