第1章 指标评估流程概述
1.1 适用场景
指标评估流程适用于需要对可量化测量项进行系统性分析、对比、判定与持续改进的所有业务与技术领域。典型场景包括：
- 模型性能评估 — 对 LLM、推荐系统、CV 模型的关键指标（准确率、召回率、推理延迟、显存占用）进行标准化评测。
- 系统容量与稳定性评估 — 对线上服务的 QPS、TP99、错误率、CPU/内存水位进行基线对比与趋势分析。
- 业务运营指标评估 — 对 DAU、转化率、留存率、LTV 等业务指标进行周期复盘与归因。
- 质量与合规评估 — 对代码覆盖率、缺陷密度、安全扫描通过率等研发质量指标进行门禁判定。
- 供应商/SLA 评估 — 对第三方服务的可用性、响应时间、吞吐量进行契约合规校验。
1.2 核心术语
| 术语 | 定义 | 示例 |
|---|---|---|
| 指标（Metric） | 可量化、可采集的测量项，具有明确的单位与采集方式。 | 推理延迟（ms）、准确率（%） |
| 评估（Evaluation） | 基于预设标准或基线，对指标值进行分析、比较并形成结论的过程。 | 对比模型 A 与模型 B 的 F1 分数 |
| 基线（Baseline） | 作为参考基准的历史值或标准值，用于判定指标是否达标。 | 上一版本系统 TP99 = 200 ms |
| 阈值（Threshold） | 触发告警、门禁或决策的临界值，可分为软阈值（预警）与硬阈值（阻断）。 | 错误率 > 1% 触发告警 |
| 维度（Dimension） | 指标的分类或切片视角，用于多维下钻分析。 | 按地域、版本、机型聚合 |
| 评估报告（Report） | 评估流程的最终产出，包含指标值、对比结果、结论与建议。 | 性能评测报告 v2.3 |
1.3 前置条件
- 明确的评估目标 — 已定义本次评估要回答的核心问题（如“新模型推理速度是否优于旧模型”）。
- 可用的数据源 — 指标数据可被采集或已存在历史监控系统中。
- 基线或标准值 — 已确定用于对比的基准数据或行业标准。
- 评估环境就绪 — 测试环境、压测工具、采集探针已部署并验证。
- 角色与权限确认 — 评估执行人、审核人、数据访问权限已明确。
1.4 操作步骤 — 流程总图
指标评估流程从需求提出到报告归档，共经历 6 个核心阶段，形成完整闭环。下图展示了各阶段的顺序与关系：
各步骤的详细操作规范、计算公式、工具选型与最佳实践将在第 2～6 章中逐一展开。此处仅建立全局认知。
1.5 输入输出物
| 阶段 | 输入物 | 输出物 |
|---|---|---|
| 需求分析 | 业务诉求文档、历史问题清单 | 评估目标说明书、范围界定 |
| 指标定义 | 评估目标说明书 | 指标列表（含单位、维度、计算公式） |
| 数据采集 | 指标定义清单、数据源配置 | 原始数据集（含时间戳、标签） |
| 指标计算 | 原始数据集、计算脚本/配置 | 指标计算结果表 |
| 结果评估 | 指标计算结果、基线/阈值 | 评估结论（通过/不通过/需复审） |
| 报告输出 | 评估结论、可视化图表 | 评估报告（PDF / 内部系统归档） |
1.6 责任边界
| 角色 | 职责 | 产出物 |
|---|---|---|
| 评估发起人 | 提出评估需求，明确目标与验收标准 | 评估需求单 |
| 指标定义人 | 选取指标、定义计算公式与维度 | 指标定义表 |
| 数据工程师 | 配置数据采集管道，校验数据质量 | 数据集 + 质量报告 |
| 评估执行人 | 运行计算脚本，执行对比分析，撰写报告 | 评估报告草案 |
| 评估审核人 | 审核结论合理性，确认是否通过评估 | 审核签字 / 评估通过单 |
| 流程归档人 | 归档所有过程产物至知识库 | 归档清单 |
1.7 记录材料
每次指标评估流程需完整保留以下记录，以备追溯与复盘：
- 评估需求单（含目标、范围、时间节点）
- 指标定义表（含指标名称、单位、计算公式、维度列表）
- 数据采集配置与原始数据集（含采集时间、数据量、质量校验结果）
- 计算脚本或配置文件（版本号、参数、运行日志）
- 评估报告（含对比图表、结论、改进建议）
- 审核签字单（或系统审批记录截图）
1.8 异常处理
| 异常类型 | 典型表现 | 处理方式 |
|---|---|---|
| 数据缺失 | 采集周期内部分数据点丢失，无法计算完整指标 | 标记缺失区间，使用插值或剔除后重新计算，并在报告中说明 |
| 数据质量不达标 | 存在明显异常值、重复记录或格式错误 | 返回数据工程师清洗，清洗后重新采集，必要时调整采集策略 |
| 指标计算超时 | 数据量过大导致计算任务超过预设时间阈值 | 拆分为分片计算，或升级计算资源，并在报告中记录耗时 |
| 评估结论争议 | 审核人与执行人对结论有分歧 | 引入第三方复核，或补充 A/B 测试数据后重新评估 |
| 报告归档失败 | 知识库或系统异常导致无法写入 | 本地备份后联系运维处理，归档状态标记为“待补录” |
1.9 验收标准
本章指标评估流程概述的交付是否完成，以下列条件为验收依据：
- ✅ 适用场景已明确列出至少 3 个本流程可直接复用的领域或项目类型。
- ✅ 核心术语表已定义且无歧义，团队内达成一致理解。
- ✅ 流程总图已展示 6 个核心阶段及阶段间的正向与反馈关系。
- ✅ 前置条件全部满足后方可进入下一章细节学习。
- ✅ 输入输出物、责任边界、记录材料已与团队 actual 角色对齐。
- ✅ 异常处理策略已评审，关键风险有明确处置预案。
验收通过后，学员可进入第 2 章《需求分析阶段》学习各阶段的具体操作规范。
💡 讲师提示： 本章的总图是后续所有章节的导航地图。建议学员在学习每个阶段前，先回到总图中定位当前阶段在全流程中的位置，建立全局视角，避免陷入局部细节而忽略整体联动。