第三章 定义模型评估指标体系：区分离线指标与在线指标、选择核心对齐指标
3.1 适用场景
- 已完成业务目标拆解与评估维度定义（第2章交付物就位）。
- 需要将业务目标“翻译”为可量化的模型评估指标，并区分离线实验指标与线上监控指标。
- 多团队（算法、产品、工程、运营）对“模型好坏”标准尚未达成一致性共识。
- 模型即将进入离线实验或A/B测试阶段，需要指标基线用于后续对比。
3.2 前置条件
- 已交付《评估维度-业务目标映射表》（第2章输出物）。
- 已收集历史模型实验报告或基线模型结果（若有）。
- 产品、算法、业务方已确认核心业务目标（如：提升用户留存、降低误报率）。
- 数据管道已准备，可计算至少两种不同粒度（样本级、会话级、用户级）的指标。
3.3 操作步骤
- 列出候选指标池：按分类汇总常用评估指标（分类、回归、排序、生成类）。
- 区分离线 vs 在线指标：离线指标在历史数据上计算，在线指标依赖实时用户反馈。
- 筛选核心对齐指标：从候选池中选出3–5个与业务目标直接挂钩的指标（如精度、召回、AUC、F1-score、离线NDCG）。
- 定义计算口径：明确正负样本定义、截断阈值、平均方式（微平均/宏平均）。
- 预设基线值：基于历史模型或规则基线设定每个指标的“及格线”与“目标值”。
- 记录指标来源与责任方：标注计算脚本、数据表、维护团队。
3.4 输入输出物
| 类型 | 名称 | 说明 |
|---|---|---|
| 输入 | 《评估维度-业务目标映射表》 | 包含业务目标、评估维度、优先级 |
| 输入 | 历史模型实验报告 | 过往指标的数值与波动范围 |
| 输出 | 《模型评估指标清单》 | 指标名称、类型（离线/在线）、计算口径、基线、责任团队 |
| 输出 | 《核心对齐指标定义文档》 | 含精度/召回/AUC等关键指标的公式、阈值、预期范围 |
3.5 责任边界
- 算法团队：提供候选指标池，给出离线指标计算可行性评估。
- 产品团队：决定哪些在线指标（如点击率、停留时长）能代表业务目标。
- 工程团队：确认指标计算所需的埋点数据或日志是否已具备。
- QA/评测团队：验收指标计算逻辑的正确性，确保离线/在线口径一致。
3.6 记录材料
- 《模型评估指标清单》excel/csv（含版本号、更新日期）。
- 指标计算脚本仓库地址及CommitID。
- 基线值确认会议纪要（签字或IM记录截图）。
3.7 异常处理
| 异常场景 | 处理措施 |
|---|---|
| 离线指标与在线指标趋势长期背离 | 检查样本分布偏移、正负样本定义不一致或埋点系统异常；召开指标对齐评审会。 |
| 算法团队认为AUC已达标但业务方不满意 | 补充业务导向指标（如召回率@K、误报率）；调整核心指标权重。 |
| 计算口径不统一导致各方争辩 | 冻结定义文档，组织三方评审，验收后锁入版本库。 |
| 缺失某个核心指标的在线计算能力 | 标记为“暂仅离线”，定义替代指标（如用离线模拟线上打分）。 |
3.8 验收标准
- 产出《模型评估指标清单》且通过算法+产品+工程三方会签。
- 每个核心指标都明确写出计算口径、阈值、基线值、责任人。
- 离线指标与在线指标已分类，并标注“可计算”状态。
- 存在至少一个精度/召回类的指标和一个排序/AUC类的指标（针对分类/排序模型）。
技巧提示： 在定义精度/召回时，务必与业务方确认“正样本”的业务含义。例如“用户点击”为正还是“用户下单”为正？不同定义会显著改变指标数值与模型选择方向。
核心公式参考（AUC）： AUC = ∑i=1n (Rank正样本i - i) / (n正 × n负)，其中Rank为按模型打分升序排列后的排名。建议使用sklearn.metrics.roc_auc_score验证计算。
⚠ 常见误区： 不应将离线指标直接等同于在线收益。离线AUC提升5%不代表线上转化率提升5%。建议在定义文档中注明“离线指标仅用于模型选型，线上效果需A/B实验验证”。