2. 数据问题全景
数据问题工单之所以难治理,根本原因在于“数据问题”本身不是一个单一概念。它可能表现为报表数字对不上,也可能是凌晨任务没跑完、指标口径被业务方质疑、敏感字段出现在导出文件里,甚至是一张表没人知道它到底代表什么。若不能先把问题分类,工单就会变成“谁都能提、谁都不认领、谁都无法验收”的模糊诉求。本节把数据问题拆成五个典型类别:数据质量、数据时效、数据口径、数据安全、元数据缺失,并说明每一类问题的典型表现、业务影响和工单识别要点。
一、五类问题的典型表现与业务影响
数据质量类是最常见的一类,核心是“数据本身不符合预期”。典型表现包括:主键重复、字段为空、枚举值越界、金额为负、订单状态与支付状态矛盾、上下游记录数不一致等。它的业务影响往往直接体现在决策和结算上,例如财务对账差异、风控规则误判、用户画像标签错误。质量类问题的工单必须能定位到具体表、字段、分区和异常样本,否则无法复现。
数据时效类关注的是“数据是否在业务需要的时间点可用”。典型表现包括:离线任务延迟、实时链路积压、上游分区未就绪、调度依赖失败导致下游等待。它的业务影响是“错过窗口”——早会报表没出、实时风控延迟、运营活动无法按计划调整。时效问题不能只看“任务是否成功”,还要看数据就绪时间与业务截止时间之间的差距。
数据口径类最容易被低估,因为它往往不是数据错了,而是“同一指标被算成了不同结果”。典型表现包括:GMV 是否含退款、活跃用户按登录还是按访问、新客按注册时间还是首单时间、统计维度是否去重。它的业务影响是跨部门争论、同一指标多个版本、管理层看到互相矛盾的报表。口径问题的工单必须记录指标定义、计算逻辑、过滤条件、时间窗口和维度,否则无法裁决。
数据安全类关注的是“数据是否被合规使用”。典型表现包括:敏感字段未脱敏、越权访问、导出文件包含手机号或身份证、共享账号、日志中泄露明文。它的业务影响不仅是合规处罚,还包括用户信任损失和品牌风险。安全类工单通常需要立即止血,再追溯访问路径和授权范围。
元数据缺失类是“数据无法被理解和信任”的根源。典型表现包括:表没有负责人、字段没有注释、指标没有口径文档、血缘关系断裂、生命周期未定义。它的业务影响是排查成本高、新人上手慢、问题定位靠猜、责任无法归属。元数据缺失往往不是独立发生的,而是其他四类问题反复出现的底层原因。
二、分类之后:工单如何准确落位
分类不是为了贴标签,而是为了让工单在提交时就能被正确路由。一个可操作的判断顺序是:先看“数据是否可用”,再看“是否按时可用”,然后看“是否算得一致”,接着看“是否合规使用”,最后看“是否可被理解”。如果一个问题同时涉及多类,应以业务影响最直接、止血最紧迫的类别作为主分类,其余作为关联标签。
例如,某张订单表凌晨未产出,导致早会 GMV 报表缺失,同时该表字段没有注释、负责人已离职。主分类应判为数据时效,因为业务影响是“错过窗口”;元数据缺失作为关联问题记录,用于后续治理。若反过来把主分类定为元数据缺失,工单就会在“补注释”上打转,而真正需要先解决的是任务延迟。
三、业务影响分级:让工单有优先级
同样一类问题,影响范围不同,处理优先级也不同。可以用“影响面 × 紧迫度”做快速分级:影响面看涉及多少业务线、多少报表、多少用户;紧迫度看是否卡住结算、风控、监管报送等硬窗口。下面给出一份可直接参考的影响分级示例,字段和阈值可根据实际业务调整。
| 级别 | 判断依据(示例) | 典型场景 | 响应要求(示例) |
|---|---|---|---|
| P0 紧急 | 影响资金结算、监管报送或线上风控,且已发生 | 对账差异导致付款错误、敏感数据外泄 | 立即止血,30 分钟内响应 |
| P1 高 | 影响核心报表或关键业务决策,当日必须恢复 | 早会 GMV 报表缺失、实时链路积压 | 2 小时内定位,当日闭环 |
| P2 中 | 影响非核心报表或部分维度,可在工作日内处理 | 某渠道活跃口径不一致、字段注释缺失 | 1 个工作日内给出方案 |
| P3 低 | 不影响当前使用,但存在长期隐患 | 历史表无负责人、生命周期未定义 | 纳入治理排期,按周跟进 |
四、从问题描述到可执行工单
很多工单失败在“描述”环节。有效的工单描述应包含:问题对象(库、表、字段、分区、指标名)、现象(具体数值或状态)、期望(正确结果或 SLA)、影响(谁在用、卡住了什么)、证据(截图、SQL、日志、样本行)。下面是一段可直接参考的工单描述示例,其中表名、数值均为教学假设。
【问题分类】数据时效(关联:元数据缺失)
【问题对象】dwd_order_detail_di,分区 dt=2025-03-18
【现象】该分区就绪时间 09:42,晚于 SLA 07:30;
下游 ads_gmv_report 未产出,早会无法查看 GMV。
【期望】分区在 07:30 前就绪,下游报表 08:00 前可用。
【影响】销售、财务、运营三个部门早会使用,涉及 6 张报表。
【证据】调度日志显示上游 ods_order 延迟至 09:10;
该表负责人字段为空,无法直接联系。
【临时处理】已手动触发下游补跑,报表 10:15 产出。
【根因方向】上游 ods_order 抽取任务资源不足 + 依赖未设超时告警。
五、五类问题的相互关系
这五类问题并非彼此孤立。元数据缺失会显著放大其他四类问题的排查成本:没有负责人就找不到人,没有血缘就不知道影响范围,没有注释就无法判断字段含义。数据质量问题若长期不治理,会逐渐演变为口径争议——因为不同团队会各自“绕开脏数据”写一套逻辑。时效问题若靠人工补跑长期维持,会掩盖调度依赖和资源规划的真实缺陷。安全问题则往往在一次越权导出后才暴露权限模型的漏洞。