第2章 原始指标体系收集:数据来源、口径记录、版本标注、责任人确认
适用场景
本章适用于以下三类典型场景:
- 从0到1搭建新指标体系:项目初期从各业务系统抽取原始指标,需要建立统一的收集规范;
- 存量指标体系治理:对现有分散在Excel、数据仓库、报表工具中的指标进行集中盘点和清洗;
- 跨部门指标对齐:多个业务方(如运营、产品、财务)对同一指标口径存在分歧时,需通过标准化收集过程达成一致。
前置条件
进入本章操作前,需满足以下条件:
| 序号 | 前置条件 | 验收标准 |
|---|---|---|
| 1 | 已完成指标需求调研,输出《指标需求清单V1.0》 | 文档经PM和数据负责人签字确认 |
| 2 | 明确各业务系统数据源的可访问性 | 已获取数据库只读账号或API调用权限 |
| 3 | 指定至少2名专职数据采集员(1名采集、1名复核) | 人员名单已录入项目任务管理工具 |
| 4 | 准备统一的《原始指标采集模板》(Excel或在线表格) | 模板字段包含:指标名称、来源系统、表名/字段、口径说明、版本号、责任人、采集时间 |
操作步骤
本章包含4个核心步骤,按顺序执行,不可跳步:
- 步骤1:数据源映射(Mapping)
针对需求清单中的每个指标,定位其最原始的数据来源系统(如MySQL、Hive、API日志),并记录系统名称、库名、表名、字段路径。若来源为多表关联,需在口径说明中注明JOIN逻辑。 - 步骤2:口径记录与版本标注(Definition & Versioning)
逐指标编写清晰的计算口径,包含:聚合粒度(日/周/月)、业务筛选条件(如排除测试数据)、异常值处理方式(如剔除大于99分位值)。每版口径记录必须标注V1.0、V1.1等版本号,并说明变更原因。 - 步骤3:责任人确认(RACI)
每个指标需指定1名业务责任人(定义口径)和1名技术责任人(保障数据产出)。使用RACI矩阵明确角色:
R(执行):数据采集员;A(审批):数据架构师;C(咨询):原业务系统负责人;I(告知):下游数据使用方。 - 步骤4:采集结果复核(Review)
采集员与复核员背对背填写同一指标的口径,然后比对差异率。差异率超过5%的条目需发起二次讨论,并记录在《口径争议日志》中。
输入输出物
| 类型 | 名称 | 格式 | 责任方 |
|---|---|---|---|
| 输入 | 《指标需求清单V1.0》 | Excel / 在线表格 | 需求分析师 |
| 输入 | 业务系统数据字典(如适用) | PDF / 数据库文档 | 各系统DBA |
| 输出 | 《原始指标采集表V1.0》 | Excel / CSV | 数据采集员 |
| 输出 | 《口径争议日志》 | Markdown / Wiki | 数据架构师 |
责任边界
关键职责分离:
- 数据采集员:负责在模板中填写数据来源、口径文字和版本号;不得擅自修改已由业务责任人确认的口径逻辑。
- 数据架构师:审核采集表的字段完整性(如是否有空值、口径是否可被工程师实现);对跨表关联口径拥有最终解释权。
- 业务责任人:仅负责口径定义,不参与具体技术实现描述;需在最终版采集表上签字或邮件确认。
记录材料
本章执行过程中必须保留以下记录材料,作为后续审计和复盘依据:
- 采集过程日志:记录每条指标的采集时间、采集人、复核人;
- 口径版本变更表:包含版本号、变更日期、变更内容简述、审批人;
- RACI确认邮件/IM截图:标注有“确认无误”或“同意”字样的沟通记录;
- 复核比对截图:采集员与复核员背对背填写的原始表格,以及差异率汇总
示例:口径争议日志条目
---
指标ID: M2024-028
指标名称: 7日活跃用户留存率
争议点: 分母是否包含“新增且当日无行为”的用户
采集员口径: 分母 = D0活跃用户中7日后仍有登录行为的用户 / D0所有活跃用户
复核员口径: 分母 = D0活跃用户中7日后有任意行为的用户 / D0所有活跃用户(包含新增无行为)
差异率: 12.3%
仲裁结果: 采用复核员口径,要求业务责任人补签确认
---
异常处理
常见异常及处置预案:
| 异常类型 | 现象 | 应对措施 |
|---|---|---|
| 数据源不可达 | 采集员无法连接到指定系统或表不存在 | 立即联系系统负责人开通权限,或使用离线备份表替代;记录在异常登记表中 |
| 口径严重冲突 | 业务责任人与技术责任人对同一指标的定义截然不同 | 上升至项目周会讨论,由产品总监和架构师共同拍板,并更新口径文档版本号到V1.1 |
| 版本号混乱 | 同一指标出现两个不同责任人维护的版本号 | 以采集模板中最后一次修改时间为准,并人工比对差异,归并到统一版本线 |
验收标准
本章交付物需通过以下5项验收检查,全部通过后方可进入第3章:
- 完整性:采集表中已无空白必填字段,每个指标均填写了数据来源(系统/表/字段)、口径说明、版本号、责任人;
- 一致性:随机抽取10%的指标,由不参与采集的第三方使用同一口径在源系统中重新计算,结果偏差率<2%;
- 可追溯:每个指标的口径变更历史均有版本号和对应审批记录,无断档;
- 责任清晰:各指标的RACI矩阵已全员签字或邮件确认,无“无人认领”指标;
- 文档存档:《原始指标采集表V1.0》已被上传至项目Wiki并设置禁止直接编辑权限。
章节关键提醒:原始指标收集是后续评审优化的根基。请确保每个指标至少采集2次(采集员+复核员背对背),差异率低于5%才能视为有效采集。本阶段如果出现口径模糊或数据源不可达,宁停勿凑——将问题暴露在第2章,而不是留给第10章的评审周期。