多重检验与因子挖掘中的假发现陷阱
在成千上万个候选特征中筛选显著因子,传统统计阈值必然失效。控制假发现率与样本外再现,是量化研究区分噪声与真实规律的关键界碑。
Bu içerik henüz seçilen dilde mevcut değil; aşağıda basitleştirilmiş Çince sürümü gösterilmektedir.
数据挖掘与显著性通胀
当研究员测试 100 个完全独立且无预测能力的随机假说时,在常规 5% 显著性水平下,数学期望上将有 5 个假说呈现统计显著。这种「看起来有效」只是概率抽样的必然结果。
量化投研日常遍历海量指标组合与规则变体。若不进行多重检验修正,最终筛选出的所谓高夏普“阿尔法”,绝大多数只是对历史噪声的过度拟合。
假发现率控制与真实度检验
自举量化在特征挖掘中引入假发现率(False Discovery Rate, FDR)与 White 真实度检验(Reality Check),对探索空间的总试验次数进行全局惩罚,使阈值随测试广度动态上调。
只有当一个假说在考虑了全部未选中的试验历史后仍能通过临界值,它才具备进入下一阶段样本外验证的资格。
机制可解释性先于统计指标
严密的统计校正不能代替对经济机制的审慎推演。超额收益究其本质,来自承担了未被对冲的结构性风险,或是利用了市场上可辨识的行为偏差与流动性摩擦。
无法从市场结构中推演因果机制的经验规律,即便勉强通过了统计检验,也极易在市场参与者行为变迁或宏观环境转换时迅速失效。
保留失败试验的完整台账
防止多重检验偏差最关键的工程举措,是完整记录每一次失败试验、参数调整和废弃探索。台账是全局评估真实统计显著性的唯一基准锚点。
多重检验与伪神话发现模拟器
调节回测因子探索数量,直观观察白噪音如何通过多重尝试被伪装成‘统计显著’的假 Alpha。
1.000e-3即使所有因子皆为白噪声,在 N 次独立试验中随机踩中假显著因子的概率:1 - (1 - α)ᴺ
极值理论下,在零 Alpha 的纯随机序列中进行 N 次搜索能碰巧构造出的最大虚假夏普水平。
当前观察到的最佳夏普未显著超越白噪声极值期望,极大概率是过拟合与数据挖掘(p-hacking)的统计偶发产物。
Bu sayfa araştırma yöntemini açıklar. Yatırım tavsiyesi, performans öngörüsü veya getiri vaadi değildir.