1. 课程导入
欢迎进入《风控规则A/B分流与增量效果评估实战》。在风控体系里，策略同学最常被追问的三个问题是：这条规则到底有没有用？它拦住了多少本来会坏的订单，又误伤了多少好用户？如果同时上线三条规则，增量贡献分别来自哪里？如果只凭上线前后的大盘指标对比，答案往往并不可靠，因为大盘同时受到季节、流量结构、营销活动、对手攻击强度等大量因素影响。本课程要解决的，正是如何用A/B分流和增量评估的方法，把"规则有效"从一种感觉，变成可复现、可归因、可决策的证据。
一、学习目标：从"会配规则"到"会证明规则"
本课程不是规则语法课，而是效果证明课。完成学习后，你应当能够独立完成以下任务：
- 设计分流：针对一条或一组风控规则，设计满足随机性、同质性、可观测性的A/B实验，明确实验单元、分流比例、互斥与正交关系。
- 定义指标：区分过程指标与结果指标，构建以坏账率、通过率、误杀率、资损为核心的指标树，并明确主指标与护栏指标。
- 计算增量：用对照组反事实推断实验组的"本该发生量"，从而得到规则的净拦截增量、净资损下降和净收益。
- 判断显著：理解假设检验、置信区间、样本量与最小可检测效应（MDE）之间的关系，避免"看着涨了就算赢"。
- 落地复盘：输出可被业务和管理层采信的实验报告，并处理分流污染、策略叠加、长期漂移等工程问题。
二、核心价值：为什么增量评估是风控策略的必修课
风控规则天然带有"自我掩盖"的特性。一条反欺诈规则上线后拦截了一批高风险订单，大盘坏账率下降，看起来非常成功。但如果没有对照组，我们无法区分三种情况：第一，规则确实拦住了坏订单；第二，这批订单本来就会被其他已有规则拦住，新规则只是重复劳动；第三，攻击者因为其他原因自然退潮，规则恰好赶上了。只有第二种情况被误判为成功，就会导致规则库不断膨胀、系统延迟上升、好用户体验持续受损，而真实收益为零甚至为负。
增量评估的价值体现在三个层面。业务层面，它让每一分风控成本都能对应到可量化的资损下降，支撑资源投入决策。策略层面，它让规则之间可以比较优先级，识别冗余规则并做减法。工程层面，它让分流、埋点、指标口径标准化，使策略迭代从"个人经验驱动"升级为"实验数据驱动"。在成熟的风控团队中，A/B分流与增量评估不是可选项，而是规则上线的标准前置流程。
三、整体知识框架：四个层次，一条主线
本课程的知识体系可以概括为"一条主线、四个层次"。主线是：用随机对照实验估计风控规则的因果增量。四个层次分别是实验设计、数据与指标、统计推断、工程落地。
| 层次 | 核心问题 | 关键产出 | 常见风险 |
|---|---|---|---|
| 实验设计 | 怎么分、分给谁、分多少 | 分流方案、实验单元、样本量 | 分流不随机、组间不可比 |
| 数据与指标 | 看什么、怎么算、口径是否一致 | 指标树、埋点规范、口径文档 | 指标漂移、埋点缺失、口径打架 |
| 统计推断 | 差异是否显著、增量是多少 | 置信区间、p值、增量估计 | 多重比较、偷看数据、样本不足 |
| 工程落地 | 怎么稳定运行、怎么复盘 | 分流服务、监控告警、实验报告 | 分流污染、策略叠加、长期漂移 |
这四个层次不是并列的，而是层层递进。设计错了，后面再精确的统计也救不回来；指标口径不一致，显著性检验只会放大错误结论；工程不稳定，实验中途污染会让所有推断失效。因此本课程会反复强调：增量评估的质量上限，在实验设计阶段就已经决定。
四、实战路线图：从一条规则到一个实验闭环
为了让学习路径清晰，我们把整个实战过程拆成七个步骤，形成可复用的实验闭环。
- 明确假设：写清楚"这条规则预期降低哪类风险、影响哪类人群、预期增量方向与量级"。
- 选择实验单元：按用户、设备、订单或商户分流，确保单元之间不互相干扰。
- 设计分流：确定对照组与实验组比例，通常采用90/10或95/5以控制风险敞口。
- 定义指标：确定主指标（如资损下降额）、护栏指标（如通过率、误杀率、客诉率）。
- 计算样本量：基于基线指标、MDE、显著性水平和统计功效反推所需样本与实验周期。
- 运行与监控：监控分流均衡性、指标异常、策略叠加，避免中途偷看导致结论偏差。
- 分析与复盘：计算增量、置信区间，输出结论、归因与后续动作，沉淀为规则库决策依据。
五、一个典型场景：反欺诈规则增量评估
假设某支付平台准备上线一条"同设备短时间多账号登录并支付"的反欺诈规则。历史数据显示，该类行为订单的坏账率约为8%，而整体订单坏账率约为1.2%。如果直接全量上线，大盘坏账率可能下降，但无法判断下降中有多少来自这条规则。
采用A/B分流后，我们将命中该行为特征的订单随机分为实验组和对照组。实验组执行新规则，对照组不执行但正常走其他规则。运行两周后，实验组坏账率1.5%，对照组坏账率2.8%，实验组通过率下降0.6个百分点。此时可以计算：规则带来的坏账率净下降为1.3个百分点，同时误杀成本为0.6个百分点的通过率损失。结合客单价与资损金额，即可得到净收益。
实验组：订单量 120,000，坏账率 1.5%，通过率 92.0%
对照组：订单量 120,000，坏账率 2.8%，通过率 92.6%
坏账率增量 = 1.5% - 2.8% = -1.3pp
通过率增量 = 92.0% - 92.6% = -0.6pp
净资损下降 = 120,000 × 1.3% × 平均资损金额
误杀成本 = 120,000 × 0.6% × 平均利润金额
这个例子说明，增量评估不是只看一个指标，而是同时看收益与代价。只有当净收益为正且统计显著时，规则才值得全量上线。
六、常见误区与复盘要点
误区二：只看坏账率下降，不看通过率和误杀率。风控的目标是净收益最大化，不是坏账率最小化。
误区三：实验中途反复查看显著性，看到显著就停止。这会显著抬高假阳性率，必须预先确定实验周期。
误区四：忽略策略叠加。新规则与旧规则可能拦截同一批订单，增量被高估，需要做规则间归因分析。
误区五：分流不随机或单元选择错误。例如按订单分流但规则作用于用户，会导致同一用户跨组，污染实验。
复盘时建议固定回答四个问题：实验设计是否满足随机与可比？指标口径是否一致且完整？增量估计是否给出置信区间？结论是否转化为明确的规则上线、下线或调优动作？只有这四个问题都有答案，实验才算真正闭环。
本章作为课程导入，已经勾勒出学习目标、核心价值、知识框架与实战路线。接下来的章节将沿着这条主线，逐步深入分流设计、指标构建、统计推断与工程落地，帮助你把风控规则的效果评估做成一套稳定、可信、可复用的能力。