第4章 Reach 数据采集与记录
适用场景
- 需要系统化采集 MVP 迭代的 Reach（触达）指标时。
- 数据来源分散（问卷、日志、调研），需统一归集到 RICE 记录表时。
- 团队需要建立数据质量管控基线，确保 Reach 计算可追溯、可复验时。
前置条件
- RICE 框架已完成 Reach 指标定义（如：日活跃用户数、问卷回收量、页面 UV）。
- 采集工具/平台已就绪：问卷系统（如问卷星）、埋点日志平台（如 Mixpanel）、调研脚本已部署。
- 团队已指定数据采集责任人（PM + 数据分析师 + 开发各 1 人）。
- 已确认数据隐私合规（GDPR / 个人信息保护法）。
操作步骤
- 选择采集方法：根据 Reach 指标类型，从问卷、日志、调研中选用一种或多种组合。
- 配置采集工具：设置问卷回收渠道、埋点事件定义、调研投放路径。
- 执行数据采集：启动采集任务，监控数据回流是否正常。
- 原始数据汇聚：将多源原始数据统一拉取至中央存储（如数据湖或 CSV 目录）。
- 数据归一化：对时间戳、用户标识、渠道来源、行为类型进行标准化映射。
- 缺失数据判定与处理：扫描必填字段，按策略填充或标记异常。
- 填写记录表：将归一化后的数据逐条写入 Reach 记录表，每行代表一次触达事件。
- 数据校验与入库：抽样校验记录表准确率，确认无误后提交至 RICE 共享库。
💡 操作要点：步骤 5 的归一化是后续计算 Reach 得分的质量基石，建议在步骤 5 输出后做一次中间校验，避免“垃圾进垃圾出”。
输入输出物
| 类型 | 名称 | 格式/载体 | 责任方 |
|---|---|---|---|
| 输入 | 原始用户行为日志 | JSON / 文本日志 | 开发工程师 |
| 输入 | 问卷回收数据 | CSV / Excel | 运营专员 |
| 输入 | 调研访谈记录 | Markdown / 结构化文档 | 数据分析师 |
| 输出 | Reach 归一化记录表 | CSV（UTF-8） | 数据分析师 |
| 输出 | 数据缺失处理日志 | CSV 附注列 | 数据分析师 |
责任边界
- PM：定义 Reach 数据采集需求与验收标准；对记录表的业务正确性负责。
- 开发工程师：埋点开发与日志输出；确保原始日志的时间戳精度 ≤ 1s。
- 数据分析师：归一化规则编写、缺失数据处理、记录表生成与质量校验。
- 运营专员：问卷投放与回收；调研访谈的组织与转录。
记录材料
以下为 Reach 记录表的标准模板（CSV 结构），每行记录一次触达事件，所有字段必须填写，缺失字段按异常处理规则填充。
| 字段名 | 类型 | 示例值 | 说明 |
|---|---|---|---|
| event_id | string | RCH_20250321_001 | 全局唯一事件 ID |
| timestamp_utc | datetime | 2025-03-21T10:30:00Z | 归一化后的 UTC 时间 |
| channel | string | survey / log / interview | 采集渠道枚举 |
| user_id | string | usr_a1b2c3d4 | 归一化后的用户标识 |
| action_type | string | page_view / submit / response | 触达行为标准化名称 |
| raw_source | string | nginx_log_batch_03 | 原始数据来源描述 |
| quality_flag | string | clean / imputed / partial | 数据质量标记 |
📋 填写示例（CSV 片段）
event_id,timestamp_utc,channel,user_id,action_type,raw_source,quality_flag
RCH_20250321_001,2025-03-21T10:30:00Z,survey,usr_a1b2c3d4,submit,问卷星_批次3,clean
RCH_20250321_002,2025-03-21T10:31:15Z,log,usr_e5f6g7h8,page_view,Mixpanel_事件流,clean
RCH_20250321_003,,interview,usr_i9j0k1l2,response,深度访谈_用户5,imputed第 3 行 timestamp_utc 缺失，使用数据接收时间 2025-03-21T11:00:00Z 填充，quality_flag 标记为 imputed。
异常处理
常见数据缺失情况及处理策略如下表。所有处理行为必须在 quality_flag 中记录，并写入缺失处理日志。
| 缺失字段 | 默认处理策略 | quality_flag | 备注 |
|---|---|---|---|
| timestamp_utc | 使用数据接收时间填充 | imputed | 偏差需 < 5min，否则标记为 partial |
| user_id | 生成匿名 ID：anon_{md5(IP+UA)} | imputed | 无法生成时标记为 partial 并人工核查 |
| channel | 标记为 unknown | imputed | 需在备注中填写原始文件名 |
| action_type | 标记为 undefined | imputed | 人工补录动作描述 |
| raw_source | 使用上游文件名或默认值 | imputed | 无上游信息时标记为 partial |
| ≥3 个必填字段同时缺失 | 整行标记为 partial，移入待审区 | partial | 每周由数据分析师集中修复 |
⚠️ 重要：partial 状态的数据行不参与 Reach 得分计算，必须在下一迭代周期前完成修复或剔除。连续两次迭代 partial 率 > 5% 时需触发采集流程回顾。
验收标准
- 数据完整率：单次迭代 Reach 记录表中，quality_flag 为 clean 的行数占比 ≥ 95%。
- 归一化正确率：随机抽样 50 行，人工校验字段映射准确率 = 100%。
- 记录表规范性：CSV 列名与模板一致，时间戳均为 UTC 格式，枚举字段无拼写错误。
- 缺失处理可追溯：所有 imputed / partial 行均能在缺失处理日志中找到对应原因及操作人。
- 时效性：从采集截止到记录表入库，耗时 ≤ 24 小时。
数据采集与归一化流程
上图展示了从三种采集方法到最终 Reach 数据输出的完整通路，其中“缺失判定”菱形节点是质量管控的关键卡口。