第3章 模型指标定义与收集

3.1 适用场景

本章流程适用于以下典型场景：

• 新模型立项阶段：需要从业务目标出发，系统化定义模型评估指标，建立评估基线。
• 模型迭代升级：已有模型版本更新时，需要对比新旧版本的离线与在线指标变化。
• 跨团队协作对齐：业务方、算法工程师、数据工程师之间需要对指标口径、计算方式达成统一认知。
• 模型监控体系搭建：需要设计生产环境下的在线指标采集与监控方案。
• 指标冲突排查：当离线指标表现良好但在线业务效果不佳时，需要系统性检查指标定义与采集链路。

3.2 前置条件

执行本章流程前，需要满足以下条件：

• 已完成业务目标的拆解与优先级排序（参照第2章内容）。
• 已拥有至少一批高质量的标注数据集或历史日志数据。
• 数据采集的基础设施（日志系统、埋点SDK、数据库等）已就位或可接入。
• 算法团队与业务团队已指定指标对齐负责人。

3.3 操作步骤

模型指标定义与收集分为五个核心步骤，按顺序执行，每一步都包含输入、子步骤和输出。

步骤一：业务目标拆解与指标映射

将业务目标逐层拆解为可量化的模型行为描述，并映射到候选指标池。

子步骤	操作说明	关键产出
1.1 目标拆解	将业务目标（如“提升用户点击率”）分解为模型行为特征（如“排序靠前的商品被点击”）。	行为特征列表
1.2 指标映射	为每个行为特征匹配1~2个候选指标（如CTR、NDCG@K）。	指标候选清单
1.3 优先级标注	与业务方共同标注每个指标的重要等级（P0/P1/P2）。	优先级矩阵

步骤二：离线评估指标选取

从指标候选清单中筛选出适合离线阶段计算的指标，确保可复现、低成本、与业务方向一致。

子步骤	操作说明	关键产出
2.1 可计算性检查	确认当前标注数据集是否支持该指标计算（如是否有负样本、时序信息等）。	数据可行性报告
2.2 离线指标选定	选取3~5个核心离线指标（如AUC、F1、RMSE），避免指标过多造成评估成本膨胀。	离线指标清单
2.3 基线计算	在验证集上计算当前模型的离线指标值，作为后续迭代的参照基线。	基线数据表

步骤三：在线评估指标选取

从候选清单中筛选出适合在线阶段监控的指标，重点关注业务直接相关的效果指标。

子步骤	操作说明	关键产出
3.1 可采集性评估	评估该指标所需数据是否能在生产环境中实时或准实时采集。	采集可行性矩阵
3.2 在线指标选定	选取2~4个核心在线指标（如CTR、转化率、响应时间P99）。	在线指标清单
3.3 监控阈值设定	根据业务容忍度设定指标的告警阈值（如响应时间P99 > 200ms告警）。	监控阈值表

步骤四：指标计算公式标准化

为每一个选定的指标编写统一的计算公式，消除团队间口径歧义。

子步骤	操作说明	关键产出
4.1 公式编写	使用标准数学符号编写指标计算公式，注明分子分母含义。	公式标准文档
4.2 口径注释	注明计算中的边界条件（如空值处理、时间窗口、去重规则等）。	口径注释清单
4.3 代码对齐	将公式转化为伪代码或SQL片段，确保算法与数据团队理解一致。	伪代码/代码片段

步骤五：数据采集方案设计

为在线指标设计具体的数据采集方案，包括埋点、日志、数据库抽取等方式。

子步骤	操作说明	关键产出
5.1 采集方式选型	根据指标特性选择埋点、日志或数据库采集方式。	采集方式选型表
5.2 数据格式定义	定义采集数据的字段结构、类型、枚举值范围。	数据格式规范
5.3 采集链路验证	在测试环境发送模拟数据，验证采集、传输、存储链路的完整性。	链路验证报告

3.4 输入输出物

类型	名称	来源/去向	格式要求
输入1	业务目标拆解清单	来自第2章输出，业务方提供	Excel 或 飞书文档
输入2	标注数据集 / 历史日志	数据工程团队提供	Parquet / CSV / JSON
输入3	现有指标定义文档	算法团队提供（如有）	Markdown / Confluence
输出1	模型指标定义清单	交接给第4章作为输入	结构化表格（含指标名、口径、公式、优先级）
输出2	指标计算公式标准文档	交接给第4章及算法/数据团队	Markdown + 伪代码
输出3	数据采集方案	交接给数据工程团队实施	技术方案文档 + 字段规范表
输出4	指标基线报告	存档并同步给业务方	PDF / 可视化看板截图

3.5 责任边界

角色	职责范围	协作接口
算法工程师	负责离线指标选取、计算公式编写、基线计算	向PM同步指标含义与局限性
数据工程师	负责数据采集方案设计、埋点开发、链路验证	接收算法团队的采集需求
产品经理（PM）	确认业务目标映射、审核指标优先级、验收指标与业务一致性	向算法团队提供业务反馈
数据分析师	协助指标口径标准化、审核计算公式的合理性	作为算法与业务的中间验证角色

3.6 记录材料

本章执行过程中需归档以下记录材料：

• 指标候选清单（含优先级）：记录所有候选指标及其与业务目标的映射关系，标注P0/P1/P2。
• 离线/在线指标选定审批表：记录选定指标的名称、选取理由、排除理由，需PM签字确认。
• 指标计算公式标准文档（V1.0）：包含每个指标的数学公式、口径注释、伪代码示例。
• 数据采集链路验证报告：记录测试环境验证的日期、测试用例、通过/失败状态。
• 指标基线数据表：记录当前模型在验证集上的离线指标数值，作为后续迭代的参照。

3.7 异常处理

异常编号	异常描述	可能原因	处理方案
E-3-1	选定的指标与业务目标明显偏离	目标拆解环节沟通不充分，或指标映射时理解偏差	立即组织业务方与算法团队进行目标复审，重新执行步骤一
E-3-2	离线指标与在线指标趋势冲突（如离线AUC上升但在线CTR下降）	数据集分布偏移、在线流量分配不均、或指标口径不一致	先检查口径一致性，再进行数据分布对比分析，必要时引入A/B测试验证
E-3-3	数据采集链路延迟或数据丢失	埋点SDK版本不兼容、网络抖动、存储写入瓶颈	降级为日志采集兜底，同时定位链路故障点；修复后重新执行链路验证
E-3-4	指标计算公式存在多种解读	口径注释不完整，或分母/分子定义有歧义	由数据分析师牵头编写标准注释，附上正反示例，全员评审确认

3.8 验收标准

完成本章全部流程后，需满足以下验收条件方可进入下一章：

• 指标清单已评审通过：包含离线指标与在线指标，且与业务目标的映射关系明确，优先级标注清晰，PM与算法负责人双签确认。
• 计算公式文档已标准化：每个指标均有统一的数学公式、口径注释、伪代码，团队内无歧义。
• 数据采集方案已验证：测试环境链路验证通过，数据格式规范已定稿，采集延迟和丢失率在可接受范围内。
• 基线数据已记录：当前模型在验证集上的离线指标基线已计算并归档，可复现。
• 异常处理记录已闭环：本章涉及的异常（如有）均已记录原因与处理方案，未遗留未解决项。