3. 建立数据采集流程：确定数据获取渠道、采集周期、责任人、数据校验规则及异常值处理预案
数据采集流程是 RICE 评分校准的基础工程。没有稳定、可信的数据管道，Reach、Impact、Confidence、Effort 四个维度的量化就无从谈起。本章提供一套可复用的 SOP，帮助团队从零搭建端到端的数据采集体系。
课程关联提醒：本章输出的“数据采集流程文档”将直接作为第 4 章“数据清洗与标准化”的输入。请确保各环节文档完整、责任到人。
适用场景
| 场景 | 说明 |
|---|---|
| 新产品上线后的指标首次采集 | 团队需为 RICE 评分建立从 0 到 1 的数据管道 |
| 已有采集流程但数据质量不达标 | 校验规则缺失、异常值频发、责任边界模糊 |
| 组织架构或工具链变更 | 渠道切换、人员变动、采集周期需重新适配 |
| 跨部门协作的评分项目 | 需统一各方对“数据怎么来、谁来管、怎么验”的认知 |
前置条件
- 已完成 RICE 四个维度的指标定义（参照第 2 章）
- 已明确各指标的数据粒度（日/周/月 / 单次活动）
- 已盘点可用的数据源系统（CRM、BI 工具、客服平台、埋点系统等）
- 已指定一名数据流程负责人（通常为数据分析师或产品运营 Lead）
- 团队已就“数据质量基线”达成共识（如：缺失率 < 5%，异常值占比 < 3%）
操作步骤
- 识别数据需求与指标对应关系
对照 RICE 维度清单，逐项列出所需数据字段、数据类型、期望粒度。 - 确定数据获取渠道
为每个字段指定唯一可信源，避免多源冲突。 - 确定采集周期
根据指标变化速度与决策频率设定：Reach 可每日采集，Effort 按周采集。 - 明确责任人
每个渠道和字段都指定“采集人”和“复核人”，形成责任矩阵。 - 设定数据校验规则
定义完整性、格式、范围、一致性四类规则，并明确“通过 / 告警 / 拒绝”阈值。 - 制定异常值处理预案
区分“可自动修复”“需人工研判”“直接剔除”三类场景，并规定响应时效。 - 编写数据采集流程文档
将上述六步结果固化，经相关方评审后发布。
输入 / 输出物
| 类型 | 名称 | 内容说明 | 模板/样例 |
|---|---|---|---|
| 输入 | RICE 指标定义清单 | 各维度指标名称、描述、粒度、单位 | 第 2 章输出物 |
| 输入 | 数据源系统清单 | 已有系统列表、数据接口、访问权限 | 工具盘点表（团队自备） |
| 输出 | 数据采集流程文档 | 渠道、周期、责任人、校验规则、异常预案 | 本章步骤 7 产物 |
| 输出 | 数据校验规则表 | 每条规则的名称、表达式、通过/告警/拒绝阈值 | 见下方“记录材料”表格 |
| 输出 | 异常值处理矩阵 | 异常类型、处理方式、响应时限、升级路径 | 见下方“异常处理”表格 |
责任边界
| 角色 | 职责 | 产出物 |
|---|---|---|
| 产品经理 | 定义数据需求，确认指标与 RICE 维度的映射关系 | RICE 指标定义清单 |
| 数据分析师 | 确定数据渠道，设计校验规则，编写异常预案 | 数据采集流程文档 |
| 开发工程师 | 配置采集工具，实现数据接入，设置自动化校验 | 数据管道配置清单 |
| 项目经理 | 监督流程执行，组织跨部门评审，确保节点交付 | 流程评审纪要 |
责任边界澄清：数据分析师是“流程 Owner”，但每个渠道的“采集人”需在流程文档中具体到姓名。避免出现“谁都管、谁都不管”的灰色地带。
记录材料
以下三项记录材料必须随流程文档一同归档，作为后续审计和迭代的依据：
| 材料名称 | 核心字段 | 更新频率 |
|---|---|---|
| 数据采集流程登记表 | 指标名称、渠道、周期、责任人、采集人、复核人、生效日期 | 每次流程变更时 |
| 数据校验规则清单 | 规则编号、字段、规则类型（完整/格式/范围/一致）、表达式、阈值、处理动作 | 每月评审更新 |
| 异常值处理记录表 | 日期、指标、异常值、触发规则、处理方式、处理人、处理结果、闭环时间 | 每次异常发生时 |
异常处理
| 异常类型 | 典型场景 | 处理预案 | 响应时限 |
|---|---|---|---|
| 数据源不可达 | API 接口超时、数据库连接失败 | ① 自动重试 3 次；② 切换备用渠道；③ 通知责任人人工补采 | 30 分钟 |
| 格式异常 | 日期字段为 "2024/13/01"、数值带非法字符 | ① 自动标记为“待清洗”；② 按默认解析规则修复；③ 修复失败则通知复核人 | 2 小时 |
| 范围越界 | Confidence 评分 > 1.0、Effort 工时为负 | ① 触发规则拒绝入库；② 自动通知采集人；③ 24 小时内人工确认 | 24 小时 |
| 一致性冲突 | 同一 Reach 值在 CRM 和 BI 中相差 > 20% | ① 锁定两个源数据；② 指定复核人人工比对；③ 以可信源为准并记录偏差 | 48 小时 |
| 责任人缺席 | 采集人休假或离职，数据无人认领 | ① 自动升级至项目经理；② 指定临时接管人；③ 更新流程文档 | 4 小时 |
验收标准
- 数据采集流程文档已发布，并完成至少一次跨部门评审签章
- 每个 RICE 指标都对应唯一的渠道、周期、责任人和校验规则
- 数据校验规则清单覆盖四项规则类型（完整 / 格式 / 范围 / 一致），且每条规则都有明确的“通过 / 告警 / 拒绝”阈值
- 异常值处理矩阵已包含五类以上典型异常场景，且每一类都指定了责任人和响应时限
- 记录材料（登记表、规则清单、处理记录表）已创建并归档至共享知识库
- 在至少一个指标上完成全流程试跑（采集 → 校验 → 异常处理 → 入库），并输出试跑报告
常见错误：团队在第一步“识别数据需求”时跳步，直接进入工具选型。这会导致采集的字段与 RICE 评分脱节。请务必先对齐指标定义，再确定渠道和周期。