第3章 数据口径统一规则：数据来源、采集方式、清洗逻辑、时间窗口

AI产品的评估指标若口径不统一，同一指标在不同看板上可能相差 30%–70%，导致决策层对模型表现产生误判。本章从数据来源、采集方式、清洗逻辑、时间窗口四个维度拆解口径统一规则，建立可执行的标准化流程。

1. 指标定义：什么是数据口径统一规则

数据口径统一规则是指对同一指标的数据来源、采集方式、清洗逻辑、统计时间窗口做出强制性一致约定，确保所有看板、报表、接口返回的数值具备可比性与可追溯性。

2. 数据口径：数据来源分类

在制定来源口径时，必须明确：主数据源 + 备数据源 + 数据源切换条件。例如：优先使用数仓 DWS 层，当日数据延迟 > 2h 自动切换至业务库实时接口。

3. 维度拆解：采集方式、清洗逻辑、时间窗口

3.1 采集方式

• 全量采集：适用于离线总指标（如 DAU 总量），每日凌晨 T+1 同步。
• 增量采集：适用于实时指标（如响应耗时），通过消息队列逐条上报。
• 抽样采集：适用于高频日志分析（如模型推理日志），必须记录采样率并在指标上标注。

3.2 清洗逻辑

清洗步骤必须按固定顺序执行，且每一步的剔除规则需对应到看板上的异常标记：

1. 去重（按 trace_id + 时间戳去重）
2. 空值填充（默认值或前向填充，不可跳过）
3. 异常值截断（3σ 或 IQR 规则）
4. 维度映射（将原始字段映射到标准维度字典）

# 清洗逻辑伪代码示例（口径文档标准写法）
def clean_raw_data(df):
    # 1. 去重
    df = df.drop_duplicates(subset=['trace_id', 'event_time'])
    # 2. 空值处理
    df['model_version'] = df['model_version'].fillna('unknown')
    # 3. 异常截断（响应时间 > 10000ms 视为异常）
    df = df[df['response_time'] <= 10000]
    # 4. 维度映射
    df['scene'] = df['scene_code'].map(SCENE_MAP)
    return df

3.3 时间窗口

4. 数据口径统一规则架构

下图展示了从数据来源到统一口径输出的完整链路，四个核心环节缺一不可：

5. 看板结构：口径一致性看板示例

在指标看板中，建议单独设置 「口径一致性监控」模块，直接展示各来源的偏差率：

6. 异常解释：口径不一致的常见根因

• 来源字段漂移：上游业务表字段名变更，但口径文档未同步更新。
• 采集丢失：消息队列积压导致部分日志未进入数仓，增量采集出现断层。
• 清洗顺序差异：A 团队先截断再去重，B 团队先去重再截断，结果偏差。
• 时间窗口边界未对齐：左闭右开 vs 双闭区间，导致边界数据重复或遗漏。

7. 业务动作：建立口径统一规范

1. 编写《数据口径字典》：每项指标包含字段名、类型、单位、采集方式、清洗步骤、时间窗口。
2. 设置口径变更审批流程：任何口径调整必须经过 AI 评估组 + 数据工程组双方确认。
3. 部署口径校验流水线：在数仓 ETL 中嵌入口径一致性检查，偏差 > 阈值自动告警。
4. 定期交叉审计：每月从主、备数据源各取一次全量数据做全字段比对，输出审计报告。

8. 复盘分析：口径统一效果评估

每次口径事故发生（指标偏差 > 2%），需在 24h 内完成复盘，回答以下问题：