← Tillbaka till forskningsanteckningarna
假设空间

多重检验与因子挖掘中的假发现陷阱

在成千上万个候选特征中筛选显著因子,传统统计阈值必然失效。控制假发现率与样本外再现,是量化研究区分噪声与真实规律的关键界碑。

Innehållet finns ännu inte på det valda språket; nedan visas den förenklat kinesiska versionen.

数据挖掘与显著性通胀

当研究员测试 100 个完全独立且无预测能力的随机假说时,在常规 5% 显著性水平下,数学期望上将有 5 个假说呈现统计显著。这种「看起来有效」只是概率抽样的必然结果。

量化投研日常遍历海量指标组合与规则变体。若不进行多重检验修正,最终筛选出的所谓高夏普“阿尔法”,绝大多数只是对历史噪声的过度拟合。

假发现率控制与真实度检验

自举量化在特征挖掘中引入假发现率(False Discovery Rate, FDR)与 White 真实度检验(Reality Check),对探索空间的总试验次数进行全局惩罚,使阈值随测试广度动态上调。

只有当一个假说在考虑了全部未选中的试验历史后仍能通过临界值,它才具备进入下一阶段样本外验证的资格。

机制可解释性先于统计指标

严密的统计校正不能代替对经济机制的审慎推演。超额收益究其本质,来自承担了未被对冲的结构性风险,或是利用了市场上可辨识的行为偏差与流动性摩擦。

无法从市场结构中推演因果机制的经验规律,即便勉强通过了统计检验,也极易在市场参与者行为变迁或宏观环境转换时迅速失效。

保留失败试验的完整台账

防止多重检验偏差最关键的工程举措,是完整记录每一次失败试验、参数调整和废弃探索。台账是全局评估真实统计显著性的唯一基准锚点。

量化实证交互沙盒

多重检验与伪神话发现模拟器

调节回测因子探索数量,直观观察白噪音如何通过多重尝试被伪装成‘统计显著’的假 Alpha。

50
名义显著性水平 (α)
1.8
3y
Bonferroni 校准所需单次显著性阈值 α*:1.000e-3
至少一个假阳性概率 (FWER)
92.3%

即使所有因子皆为白噪声,在 N 次独立试验中随机踩中假显著因子的概率:1 - (1 - α)ᴺ

FWER 随因子数量 N 的激增曲线:
纯白噪声下的期望最大伪夏普 𝔼[max(SR)]
1.73

极值理论下,在零 Alpha 的纯随机序列中进行 N 次搜索能碰巧构造出的最大虚假夏普水平。

Deflated Sharpe Ratio (DSR) 真实性裁决
⚠️ 假阳性高危 / 伪神话(Spurious Overfit)

当前观察到的最佳夏普未显著超越白噪声极值期望,极大概率是过拟合与数据挖掘(p-hacking)的统计偶发产物。

Denna sida beskriver forskningsmetodik. Den är inte investeringsrådgivning, en prognos eller ett löfte om avkastning.