4. 实验设计（一）：明确业务目标与关键指标（KPI）、定义对照组与实验组、确定样本量（功效分析）
金融压力测试中的 A/B 实验并非简单的“改版对比”，而是需要在严格的监管与风控框架下，通过统计学方法验证策略变更（如风控模型阈值调整、新授信规则）是否显著优于现有方案。本章聚焦实验设计的三个核心前置步骤：业务目标与 KPI 对齐、组别定义、样本量计算。这三个步骤决定了实验的“合法性”与“统计效力”，是后续所有分析的基础。
4.1 明确业务目标与关键指标（KPI）
在金融场景中，业务目标必须同时兼顾收益与风险。一个常见的误区是只关注转化率或通过率，而忽略了坏账率、资金成本等风险指标。KPI 的选择应遵循“可量化、可归因、与业务损益直接挂钩”的原则。
| KPI 类别 | 典型指标 | 业务含义 | 压力测试关注点 |
|---|---|---|---|
| 风险类（核心） | 逾期率（DPD30+）、坏账率（Charge-off Rate） | 衡量资产质量恶化程度 | 在极端市场波动下，坏账率是否显著上升 |
| 收益类 | 净息差（NIM）、风险调整后资本回报率（RAROC） | 衡量扣除风险成本后的盈利能力 | 压力情景下，RAROC 是否仍高于资本成本 |
| 效率类 | 审批通过率、平均放款时效 | 衡量运营效率与客户体验 | 收紧风控后，通过率下降对营收的冲击 |
| 合规类 | 拒绝率差异（Fair Lending）、模型稳定性（PSI） | 确保不违反公平借贷法规，模型未发生漂移 | 压力下模型对特定群体的拒绝率是否异常 |
实战建议：在压力测试 A/B 实验中，建议将 “风险调整后净收益” 作为主要 KPI（Primary Endpoint），将逾期率与通过率作为次要 KPI（Secondary Endpoint）。这能避免“通过率提升但坏账率飙升”的虚假优化。
4.2 定义对照组与实验组
组别定义的核心在于控制混杂变量，确保实验组与对照组在实验开始前具有可比性。在金融系统中，常见的分组策略包括随机分层抽样与时间序列分割。
- 对照组（Control Group）： 沿用现有风控策略或模型。在压力测试中，对照组通常代表“无干预”或“基准情景”。
- 实验组（Treatment Group）： 应用新的风控策略、模型阈值或干预措施。在压力测试中，实验组代表“压力情景”或“新策略”。
为避免“幸存者偏差”与“时间效应”，金融 A/B 实验通常采用实时随机分流（如基于用户 ID 哈希的 Mod 分流），而非简单的“前-后对比”。
关键避坑：严禁在实验期间对两组用户施加不同的运营策略（如不同的催收频率或营销优惠）。任何非实验变量的差异都会污染结果，导致无法判断效果差异究竟来自风控策略还是运营动作。
4.3 确定样本量（功效分析）
样本量不足会导致实验“假阴性”（即实际有效但统计不显著），样本量过大则浪费资源并可能放大微小但无业务意义的差异。功效分析（Power Analysis）通过四个参数计算所需样本量：
- 显著性水平（α）： 通常设为 0.05，代表犯“假阳性”错误的概率。
- 统计功效（1-β）： 通常设为 0.80，代表当真实差异存在时，实验能正确检测出该差异的概率。
- 效应量（Effect Size）： 预期的最小业务有意义差异（如逾期率降低 0.5%）。效应量越小，所需样本量越大。
- 变异系数（σ）： 指标的历史波动性。波动越大，所需样本量越大。
在金融压力测试中，由于坏账率等指标通常具有低发生率（如 1%-3%）和高波动性，所需样本量往往远大于互联网行业的转化率实验。
计算公式（两样本比例检验）：
其中 p1 为对照组预期逾期率，p2 为实验组预期逾期率，Z 为标准正态分布分位数。
n = ( (Z_α/2 + Z_β)² × (p1×(1-p1) + p2×(1-p2)) ) / (p2 - p1)²其中 p1 为对照组预期逾期率，p2 为实验组预期逾期率，Z 为标准正态分布分位数。
以下为不同参数组合下的样本量估算示例（单组所需样本数）：
| 对照组逾期率（p1） | 预期降低幅度（效应量） | α = 0.05, 功效 = 0.80 | α = 0.01, 功效 = 0.90 |
|---|---|---|---|
| 3.0% | 降低 0.5%（至 2.5%） | 约 12,500 / 组 | 约 21,000 / 组 |
| 3.0% | 降低 1.0%（至 2.0%） | 约 3,200 / 组 | 约 5,400 / 组 |
| 5.0% | 降低 1.0%（至 4.0%） | 约 4,600 / 组 | 约 7,800 / 组 |
实操提示：在压力测试中，建议在计算出的样本量基础上额外增加 10%-20% 的冗余，以应对用户流失、数据缺失或极端值剔除。同时，需确保实验组与对照组在关键风险维度（如信用评分区间、产品类型）上的分布一致，可通过 分层随机抽样 实现。
4.4 实验设计检查清单
在正式上线实验前，建议逐项核对以下清单，确保设计无遗漏：
- KPI 对齐： 主要 KPI 是否同时覆盖风险与收益？是否定义了最小业务有意义阈值（Minimum Detectable Effect, MDE）？
- 组别隔离： 实验组与对照组是否在系统层面完全隔离？是否存在跨组用户污染（如同一用户同时看到新旧策略）？
- 样本量验证： 当前流量是否满足功效分析所需的最小样本量？是否考虑了多重比较校正（如 Bonferroni 校正）？
- 压力情景注入： 如果实验模拟压力环境，是否明确了压力因子（如利率上升、失业率上升）及其量化方式？
- 监控与熔断： 是否设置了实时监控仪表盘？当实验组坏账率超过预设阈值时，是否有自动熔断机制？
监管合规提醒： 在金融领域，A/B 实验可能涉及“差别待遇”风险。务必确保实验方案经过合规与法务部门审批，且实验组与对照组在公平借贷（Fair Lending）维度上无显著差异。建议在实验设计阶段就加入 “拒绝率差异监控” 作为合规 KPI。