3. 风控策略迭代的痛点：离线评估与线上效果不一致、策略上线后缺乏量化验证、小流量实验的统计陷阱

风控策略的迭代并非简单的“模型更优→策略更强”的线性过程。在实际生产环境中，策略从离线开发到全量上线，往往面临三大核心痛点，导致迭代效率低下、效果不及预期甚至引发资损。本章将逐一拆解这些痛点，并引出AB测试作为核心解决方案的必要性。

3.1 痛点一：离线评估与线上效果不一致

这是风控领域最经典、也最令人头疼的问题。离线评估（如回测、交叉验证）表现优异的策略，上线后效果却大打折扣，甚至出现负向。其根本原因在于离线与线上环境的“数据分布偏移”与“评估指标偏差”。

3.1.1 离线与线上效果差异的根因分析

3.2 痛点二：策略上线后缺乏量化验证

许多团队在策略上线后，仅通过“大盘指标”的简单前后对比来判断效果。这种做法存在严重缺陷：无法区分策略效果与自然波动、季节性因素、其他并行策略的干扰。缺乏严格的量化验证，导致策略迭代陷入“拍脑袋”和“经验主义”的循环。

3.2.1 常见但错误的验证方式

• 前后对比法：上线前通过率80%，上线后通过率82%，就认为策略有效。但同期可能因为流量结构变化（如节假日）导致通过率自然上升。
• 同期对比法：与去年同期的指标对比。但业务环境、用户群体、风控水位已发生根本变化，对比缺乏说服力。
• 专家经验判断：依赖个别风控专家的主观感受，缺乏数据支撑，容易产生认知偏差。

3.2.2 量化验证的核心要求

3.3 痛点三：小流量实验的统计陷阱

即使团队开始使用AB测试进行小流量验证，也常常陷入各种统计陷阱，导致实验结论错误。小流量实验对统计原理的敏感性更高，错误的实验设计比不做实验更危险。

3.3.1 常见的小流量统计陷阱

1. 过早停止实验（Peeking）：在实验进行中反复查看结果，一旦p值小于0.05就立即停止并宣布胜利。这会导致第一类错误（假阳性）率急剧上升。
2. 多重比较问题：同时观察多个指标（如通过率、逾期率、复借率），只要有一个指标显著就认为策略有效，忽略了多重比较带来的假阳性膨胀。
3. 样本量不足：风控策略通常关注的是“坏账率”、“逾期率”等低基率指标。低基率指标需要更大的样本量才能检测出合理的效果提升。样本量不足时，实验结论不可靠。
4. 新奇效应与学习效应：用户对新策略的反应可能随时间变化。初期效果显著，但长期效果衰减或反转。小流量实验周期过短，无法捕捉这种变化。

3.3.2 统计陷阱的后果对比

3.4 痛点总结：为什么需要AB测试？

上述三大痛点，本质上都是“因果推断”问题。离线评估无法模拟线上因果，缺乏量化验证无法剥离混杂因素，小流量实验的统计陷阱则直接破坏了因果推断的统计基础。AB测试通过随机化、对照、统计检验三大支柱，为风控策略迭代提供了最可靠的因果推断框架。