3. 缺失与错配的快速分类与初判方法

复盘数据出问题时，最忌讳的是拿到现象就直接钻进明细表逐行排查。真正高效的排障，是先根据现象特征把问题归入少数几个类别，再顺着类别对应的常见成因去验证。本节要解决的就是这一步：如何用肉眼可见的现象，快速判断问题大致出在哪个环节。

先明确一个前提：所谓"缺失"和"错配"，本质上是两类不同的异常。缺失指本该出现的数据没有出现，表现为行数变少、字段为空、整段区间无记录；错配指数据出现了但"对不上"，表现为字段内容与表头不符、数值落在不合理区间、维度与事实对应错位。这两类异常的排查路径差异很大，先分清缺失还是错配，是初判的第一刀。

四类典型现象及其指向

结合复盘场景的常见故障，可以把现象归纳为四类，每一类都对应一组高概率成因。

全量缺失：整张表、整个分区或整个时间段的记录数为零，或远低于预期量级。这类现象通常不是数据"算错了"，而是数据"没进来"。高概率方向是上游任务未产出、调度未触发、依赖未就绪、分区路径写错或权限导致读取为空。初判时应先确认上游产出是否存在，而不是先怀疑下游逻辑。

部分缺失：总量大致正常，但某些维度、某些渠道、某些时段出现空洞。这类现象往往指向过滤条件过严、关联时维度值不匹配导致内连接丢行、去重口径变化，或上游某一路数据源单独中断。判断关键是看缺失是否集中在某个维度值上——集中则多为该维度的关联或过滤问题，分散则多为去重或抽样问题。

字段错位：列的顺序或含义与预期不符，比如本该是"订单金额"的列出现了时间戳，或某列整体偏移一位。这几乎总是解析或映射问题：分隔符解析错位、表头与数据行错位、上游改了字段顺序而下游按位置取值、编码不一致导致列切分异常。字段错位的特征是"整列系统性偏移"，而不是零星异常值。

值域错配：字段位置正确，但取值超出合理范围或单位不一致，比如金额出现负数、比率大于 1、日期落在未来、ID 长度突变。常见成因是单位换算缺失（元与分）、枚举值映射表过期、时区处理错误、聚合口径混用。值域错配往往伴随分布形态的突变，适合用分位数和极值快速定位。

初判检查清单：三步锁定方向

上图给出了从现象到方向的映射，落到操作上，建议按"计数—抽样—分布"三步走，成本由低到高，尽量在前一步就排除掉大部分可能。

第一步，计数比对。先不看内容，只看数量。取当前分区的总行数、去重主键数、涉及维度值的个数，与昨日同期、上游产出表、预期量级做三方对比。如果总行数为零或骤降超过一个数量级，基本可判定为全量缺失，直接转去查上游任务状态、调度日志和分区路径，不必再往下看字段。如果总量正常但某维度计数明显偏低，则进入部分缺失的排查分支。

第二步，抽样看列。随机取 10 到 20 行，连同表头一起看。重点观察三件事：表头与首行值是否语义对应、是否存在整列为空、空值是否集中在某几列。整列偏移是字段错位的典型信号；某列大面积为空而其他列正常，则更可能是该字段的上游映射缺失或关联未命中。抽样时不要只取头部，头部常被默认值填充，容易掩盖问题，建议同时取中间段和尾段。

第三步，分布扫描。对关键数值字段算最小值、最大值和几个分位数，对枚举字段列出取值集合。金额出现负值、比率超过 1、日期落在未来、枚举里冒出未登记的新值，都是值域错配的直接证据。分位数还能帮助判断错配是全局性的还是局部的——如果只有 P99 异常，多半是少量脏数据；如果中位数都偏移，则是系统性口径问题。

一个示例：从现象到方向的推演

假设某日复盘发现"渠道销售汇总表"记录数从常态约 12 万行降到 3 千行。按上述路径：计数比对显示总量骤降但非零，属于部分缺失而非全量缺失；抽样看列发现表头与值对应正常，排除字段错位；进一步按渠道维度分组计数，发现只有"线下门店"渠道的记录几乎消失，其余渠道正常。此时方向已经很清楚——不是解析问题，而是该渠道这一路数据源单独中断或关联未命中。接下来只需检查该渠道的上游产出与关联键取值，排查范围从整条链路收缩到一个数据源。

这个例子说明，初判的价值不在于直接给出根因，而在于把排查范围从"全链路"压缩到"一个环节"。分类越准，后续验证越省力。

把上述四类现象、三步检查和方向映射固化成习惯后，面对任何一次复盘数据异常，都能在几分钟内给出一个可验证的初步判断，而不是凭经验盲目翻表。这也是后续各类具体排障案例能够高效展开的基础。