📚 课程目录第3章核心指标定义与口径

第3章核心指标定义与口径：业务指标、技术指标与衍生指标

3.1 适用场景

本章适用于以下具体场景，当团队需要为AI功能建立统一的效果衡量标尺时，必须首先完成指标口径的定义与对齐：

新建AI功能评估体系：从零开始设计推荐、搜索、智能客服等AI功能的效果量化框架。
跨团队指标对齐：业务、算法、数据、产品等多角色需要统一“什么是好”的衡量标准。
归因分析前的基础建设：在进行任何AB实验或因果归因之前，必须先明确各指标的计算口径与数据来源。
已有指标口径复盘：发现不同团队对同一指标（如“留存率”）计算方式不一致，需要重新拉齐。
新接入AI能力的效果评估：在已有产品中新增AI功能时，需要定义该功能的专属指标体系。

3.2 前置条件

在执行本章指标定义流程之前，必须满足以下条件，否则口径定义可能无法落地：

业务目标已明确：AI功能所要支撑的核心业务目标（如提升GMV、提高用户粘性）已经经过业务方确认。
数据采集可用：相关行为日志、交易数据、埋点事件已接入数据仓库，且具备至少7天的历史数据。
技术架构已稳定：AI功能已上线或至少完成灰度，系统响应时间、推理准确率等技术指标可被监控。
角色已对齐：业务负责人、算法负责人、数据产品经理已确认参与指标口径评审。
工具准备：指标口径登记表模板、数据探查工具（SQL客户端）、口径评审会议预约已完成。

3.3 操作步骤

以下六步SOP流程将引导团队从零完成核心指标口径的定义与对齐。每一步都包含具体操作、关键检查点和输出物。

识别核心业务目标
与业务方进行结构化访谈，明确AI功能所服务的1–3个核心业务目标。例如：智能推荐功能的核心目标是“提升GMV”和“提高用户浏览深度”。
输入：业务战略文档、产品路线图。输出：业务目标清单（含优先级）。
映射AI功能影响点
分析AI功能在用户行为链中的具体影响节点。以推荐系统为例：用户在“首页曝光→点击→加购→支付”链路中，AI主要在“曝光→点击”环节产生影响。绘制影响点映射表。
输入：功能流程图。输出：AI功能影响点映射表。
定义业务指标口径
为每个业务目标匹配量化指标，并明确计算口径。例如：GMV = 成功支付的订单金额总和（剔除退款、虚假交易），DAU = 当天访问推荐功能的独立用户数（UUID去重）。使用SQL验证口径可计算性。
```
-- GMV 计算示例（剔除退款订单）
SELECT SUM(order_amount) AS gmv
FROM orders
WHERE status IN ('paid','completed')
  AND is_refund = 0
  AND order_time >= '2025-01-01';
```
定义技术指标口径
定义AI功能的技术性能指标。响应时间取P50/P95/P99三个分位值，准确率 = 预测正确的样本数 / 总样本数。需要明确采样窗口（如最近1小时滑动窗口）。
```
-- 响应时间P95计算示例（PostgreSQL）
SELECT percentile_cont(0.95) WITHIN GROUP (ORDER BY latency_ms) AS p95_latency
FROM inference_log
WHERE time >= NOW() - INTERVAL '1 hour';
```
定义衍生指标口径
基于业务指标与技术指标组合构建衍生指标。常见衍生口径包括：ARPU = GMV / DAU（每活跃用户收入），LTV = ARPU × 平均生命周期（月），响应达标率 = 响应时间 < 200ms的请求数 / 总请求数。
```
-- ARPU 计算示例（日粒度）
SELECT dt,
       SUM(gmv) / NULLIF(COUNT(DISTINCT user_id), 0) AS arpu
FROM daily_revenue
WHERE dt >= '2025-01-01'
GROUP BY dt;
```
对齐与验证口径
组织口径评审会，逐条确认指标定义、计算逻辑、数据源和异常值处理规则。会后输出签字确认的《指标口径定义表》，并在数据平台上注册口径元数据。
输入：所有指标口径草稿。输出：口径确认签字版 + 元数据注册记录。

3.4 输入输出物

下表列出了本章各步骤的关键输入物与输出物，确保流程可追溯、可验收。

步骤	输入物	输出物	格式
3.3.1 识别业务目标	业务战略文档、产品路线图	业务目标清单（含优先级）	Excel / 飞书文档
3.3.2 映射影响点	功能流程图、用户行为链路	AI功能影响点映射表	Excel / Miro
3.3.3 定义业务指标口径	业务目标清单	业务指标口径表	Excel + SQL脚本
3.3.4 定义技术指标口径	系统架构文档、监控看板	技术指标口径表	Excel + SQL脚本
3.3.5 定义衍生指标口径	业务指标口径表、技术指标口径表	衍生指标口径表	Excel + SQL脚本
3.3.6 对齐与验证	所有指标口径草稿	口径确认签字版 + 元数据注册记录	PDF / 数据平台元数据

3.5 责任边界

指标口径定义涉及多个角色，必须清晰划分职责，避免口径冲突或无人兜底。

角色	职责内容	决策权	协作方
数据产品经理	主持口径定义流程，撰写口径文档，组织评审	口径最终版本签字确认	业务方、算法、数据工程
业务负责人	提供业务目标，确认业务指标的业务含义	业务指标口径一票否决	数据产品经理
算法工程师	提供技术指标可行性，确认准确率/响应时间计算逻辑	技术指标口径技术确认	数据产品经理、数据工程
数据工程师	确认数据源可用性，提供探查SQL支持	数据采集可行性否决	算法、数据产品经理
数据分析师	验证口径SQL正确性，产出指标样例数据	口径可计算性验证	数据产品经理、数据工程

3.6 记录材料

所有指标口径必须登记在统一的《指标口径定义表》中，作为后续归因分析的唯一依据。模板结构如下：

【指标口径定义表模板】
——————————————————————————————
| 指标ID | 指标名称 | 指标类别 | 定义描述 |
| 计算口径 | 数据源 | 统计粒度 | 异常值处理 |
| 责任人 | 评审状态 | 版本号 | 生效日期 |
——————————————————————————————
示例行：
| M-001 | GMV | 业务指标 | 成功支付订单金额总和（剔除退款） |
| SUM(amount) FROM orders WHERE status='paid' AND is_refund=0 | order_db | 日/周/月 | 剔除金额>10万的异常单 |
| 张三(数据PM) | 已评审 | v2.1 | 2025-03-01 |

建议将登记表托管在数据平台的元数据中心，支持版本对比和口径血缘追溯。

3.7 异常处理

常见异常场景及应对预案：

口径冲突：不同团队对同一指标（如“留存率”）计算窗口不一致（7日留存 vs 次日留存）。
处理方式：以业务方确认的业务含义为准，数据产品经理协调拉齐，并在口径表中标注“主口径”与“备选口径”。
数据不可得：某指标所需数据字段未埋点或历史数据缺失。
处理方式：由数据工程师评估补埋点周期，临时使用代理指标（如用“页面停留时长”替代“完整阅读率”），并在口径表中标记“数据待补”。
计算逻辑歧义：同一SQL在不同引擎（Hive vs ClickHouse）返回不同结果。
处理方式：统一使用离线数仓（Hive）作为口径基准引擎，实时指标仅作参考，并在口径表中注明“基准计算引擎”。
指标口径频繁变更：业务方在口径评审后反复修改定义。
处理方式：设立口径变更窗口（每月1次），变更必须提交《口径变更申请单》，经原评审组签字后方可生效。

3.8 验收标准

本章所有工作完成后，需满足以下验收条件方可进入下一章（归因实验设计）：

完整性：所有AI功能影响点均已被至少一个指标覆盖，无遗漏。
可量化：每个指标均有明确的计算公式或SQL实现，且已跑通数据验证。
可复现：任意两人基于同一口径SQL在相同数据源上运行，结果一致（误差 < 0.1%）。
已登记：全部指标已录入《指标口径定义表》，版本号清晰，责任人明确。
已评审：口径评审会纪要已归档，所有参与方（业务、算法、数据）签字确认。
已注册：核心指标已在数据平台元数据中心完成注册，支持后续归因分析自动调用。