3、灰度效果对比分析目标
3.1 为什么要做灰度对比
额度模型在正式全量上线前，必须经过灰度对比验证。灰度对比的核心逻辑是：在真实流量环境中，用小比例样本验证新模型的效果与风险，避免直接全量上线带来的不可控损失。
灰度对比解决以下三个关键问题：
- 验证模型提升效果：新模型是否真的比旧模型在通过率、逾期率等指标上更优。
- 发现潜在风险：新模型可能在特定客群上表现异常，灰度期可提前发现并调整。
- 提供决策依据：灰度数据为是否全量上线、是否需要回滚提供量化支撑。
核心原则：灰度对比不是"做不做"的问题，而是"怎么做才科学"的问题。没有灰度对比的模型上线，等同于盲盒上线。
3.2 对比分析的核心指标
灰度效果对比围绕三个核心指标展开：通过率、逾期率、额度使用率。这三个指标分别从业务规模、风险水平、用户转化三个维度评估模型效果。
| 指标名称 | 定义 | 业务含义 | 理想方向 |
|---|---|---|---|
| 通过率 | 通过审批的申请数 / 总申请数 | 模型对客群的筛选宽松度 | 新模型通过率 ≥ 旧模型（风险可控前提下） |
| 逾期率 | 逾期客户数 / 已放款客户数 | 模型的风险识别能力 | 新模型逾期率 ≤ 旧模型 |
| 额度使用率 | 实际使用额度 / 授信总额度 | 用户对额度的接受度和需求匹配度 | 新模型额度使用率 ≥ 旧模型（或保持稳定） |
指标联动分析：三个指标不能单独看。例如：通过率大幅提升但逾期率同步上升，说明模型可能过于宽松；通过率下降但额度使用率上升，说明模型筛选出了更精准的高意向客群。
3.3 灰度对比分析流程
灰度对比分析遵循"分层对比 → 差异检验 → 综合决策"的标准流程：
- 分层对比：按客群分层（新客/老客、高/低风险等级），分别计算新旧模型的三个核心指标。
- 差异检验：使用统计检验（如卡方检验、T检验）判断新旧模型指标差异是否显著。
- 综合决策：结合业务容忍度，判断新模型是否具备全量上线条件。
3.4 灰度对比的常见误区
避坑指南：以下三个误区在灰度对比中最为常见，需特别注意：
- 误区一：只看整体指标——整体通过率提升，但高风险客群通过率飙升，导致逾期率滞后爆发。必须分层对比。
- 误区二：忽略样本量差异——灰度组样本量远小于对照组时，指标波动可能只是统计噪声，需做显著性检验。
- 误区三：逾期率观察期不足——灰度上线后立即对比逾期率，但逾期表现需要足够账龄（如30天、60天），短期数据不可靠。
3.5 灰度对比决策矩阵
根据三个核心指标的变化组合，形成以下决策矩阵：
| 通过率 | 逾期率 | 额度使用率 | 决策建议 |
|---|---|---|---|
| ↑ 提升 | ↓ 下降 | ↑ 提升 / 稳定 | 全量上线——模型全面优于旧模型 |
| ↑ 提升 | ↑ 上升 | ↑ 提升 | 暂缓上线——需排查风险客群，调整模型阈值 |
| ↓ 下降 | ↓ 下降 | ↑ 提升 | 谨慎上线——通过率下降但风险降低，需评估业务损失 |
| ↑ 提升 | ↑ 上升 | ↓ 下降 | 回滚模型——风险上升且用户转化下降，模型存在严重问题 |
决策原则：灰度对比的最终目标不是"新模型必须全面优于旧模型"，而是"新模型在可接受的风险范围内，带来业务价值的净提升"。决策时需结合业务容忍度、风险偏好和成本收益综合判断。