模型效果评估体系：离线指标、在线指标、业务指标的层次关系
模型效果评估不是单一维度的打分，而是由三层层级指标构成的完整体系。每一层回答不同的问题：
- 离线指标：在模型上线前，用历史数据验证模型本身的质量。回答“模型训练得好吗？”
- 在线指标：在真实生产环境中，通过流量观测用户对模型输出的直接反应。回答“用户在线上喜欢这个模型吗？”
- 业务指标：最终映射到商业目标或业务价值。回答“模型给业务带来了多少提升？”
三者之间呈递进关系：离线指标是基础，在线指标是中间验证，业务指标是最终裁决。只有三层指标对齐，评估才是有效的。
概念解释：三层指标的定义与范围
| 层级 | 定义 | 典型指标 | 测量时点 |
|---|---|---|---|
| 离线指标 | 在封闭数据集上计算的模型性能度量，不依赖真实用户反馈。 | 准确率、召回率、F1、AUC、NDCG、MSE | 模型训练阶段 / 离线测试阶段 |
| 在线指标 | 在生产环境中通过A/B实验或全量观测获取的用户行为统计指标。 | CTR、转化率、停留时长、点击后行为、跳出率 | 模型上线后实时或小时级统计 |
| 业务指标 | 直接或间接反映业务核心目标的宏观运营指标。 | GMV、用户留存率、DAU、任务完成率、成本降低率 | 日/周/月级业务报表 |
流程拆解：从业务目标到三层指标的对齐路径
- 确定顶层业务目标：例如“提升季度GMV 20%”或“降低客服投诉率30%”。
- 拆解为可衡量的业务指标：如GMV = 访客数 × 转化率 × 客单价，选择最能反映模型贡献的子指标。
- 设计在线指标来承接业务指标：例如要提升转化率，可观察推荐模型的CTR和点击后下单率。
- 建立离线指标与在线指标的关联假设：通常假设离线AUC提升1%，线上点击率提升0.5%。需要通过历史实验验证相关性。
- 定义离线指标阈值：作为模型发布的“准入线”，确保不会在上线后造成在线指标显著下降。
- 配置A/B实验监控文档：写明每项离线指标对应的在线实验指标和业务指标，形成可追溯的映射表。
案例分析：电商推荐系统模型发布
某电商平台计划上线一个“猜你喜欢”推荐模型升级版。原模型离线AUC=0.72，新模型AUC=0.78。经过业务方讨论，核心业务目标是提升UV价值（单访客平均GMV）。
- 业务指标：UV价值（GMV / 访客数）。
- 在线指标：推荐模块点击率（CTR）、点击后加购率、加购后支付率。
- 离线指标：AUC（衡量排序能力）、NDCG@10（衡量前列排序质量）。
实验结果表明：新模型离线AUC提升约8%，线上CTR+5.2%，加购率+3.1%，最终UV价值提升2.3%。三者形成正向传导，模型成功发布。
启示：即使离线指标提升很大，如果在线指标没有正向反应（例如CTR未变甚至下降），说明离线与在线假设断裂，需要重新审视评价集与真实分布的一致性。
表格总结：三类指标的核心特征对比
| 特征维度 | 离线指标 | 在线指标 | 业务指标 |
|---|---|---|---|
| 数据来源 | 历史标记数据 | 实时用户行为日志 | 业务报表 / 财务系统 |
| 反馈周期 | 秒~分钟级（训练/测试） | 分钟~小时级 | 天~月级 |
| 灵敏度 | 高，可做细粒度优化 | 中，受流量和噪声影响 | 低，受多种因素耦合 |
| 可解释性 | 强（具体损失函数含义） | 中（需结合用户行为理解） | 强（直接对应收入/成本） |
| 决策地位 | 模型发布门槛 | 实验决策依据 | 最终“通过/回滚”决策 |
实践清单：应用三层指标体系的检查点
- □ 已明确当前模型对应的顶层业务目标（如“提升留存”而不是“提升点击”）。
- □ 已将业务目标拆解为至少1个可量化的业务指标（如次日留存率）。
- □ 已选择合适的在线指标来承接该业务指标（如推荐曝光后7日内回访率）。
- □ 已确认离线指标与在线指标之间存在已知的正相关关系（参考历史实验或领域经验）。
- □ 已设定离线指标的“通过/拒绝”阈值（例如AUC≥0.75才允许上线A/B实验）。
- □ 已建立三层指标映射表，确保团队内对齐（避免不同角色只看自己偏好的指标）。
- □ 已有监控看板同时展示三层指标的趋势（离线、在线、业务同屏对比）。
常见陷阱：只追求离线指标高而忽略在线验证，或者只看在线指标不看业务指标（例如CTR提高但GMV下降，可能是引导点击了低价商品）。三层必须联动分析。