3. 实验数据对账的核心概念与一致性维度
在多源实验数据环境中，同一批实验往往由多个采集系统、多个课题组、多个时间窗口分别记录。对账的本质，不是简单比较两份表格是否相同，而是回答一个更精确的问题：在什么粒度上、按什么维度、以什么判定标准，认为两条记录描述的是同一事实且彼此一致。因此，对账必须先确定粒度，再确定维度，最后建立可度量的指标体系。
一、五个对账粒度：从记录到语义
记录级对账关注“行是否存在”。典型问题是：A 系统有 1200 条样本记录，B 系统只有 1187 条，缺失的 13 条是哪些？记录级对账通常以业务主键（如 sample_id、run_id）为锚点，输出三类结果：双方共有、仅 A 有、仅 B 有。它解决的是覆盖度问题，不涉及字段内容是否一致。
字段级对账关注“列是否齐全”。即使记录主键完全匹配，两个来源的字段集合也可能不同。例如实验系统导出含 temperature、humidity、operator，而 LIMS 导出含 temperature、batch_no。字段级对账输出字段交集、并集与差集，用于判断后续值级比对的可比范围。
值级对账关注“同一字段的取值是否一致”。这是最常被误解的一层：值级对账必须区分精确比对与容差比对。对于字符串型字段（如样本编号）通常要求精确相等；对于浮点测量值（如浓度 12.34 mg/L 与 12.36 mg/L），需要设定容差阈值。例如规定相对偏差不超过 1% 视为一致，则 12.34 与 12.36 的相对偏差约为 0.16%，判定为一致；若为 12.34 与 13.10，相对偏差约 6.2%，判定为冲突。
时间级对账关注“时间是否落在可接受窗口内”。多源数据的时间戳常存在采集延迟、时区差异、时钟漂移。时间级对账需要先统一时区与时间格式，再判断同一事件的时间差是否超过阈值。例如规定同一实验事件的记录时间差不超过 5 分钟为一致，超过则标记为时间冲突，并进一步区分“延迟”与“错序”。
语义级对账关注“含义是否等价”。这是最高层级的对账。例如 A 系统中 status=3 表示“已完成”，B 系统中 status=finished 表示同一含义，二者字面不同但语义一致。语义级对账依赖码表映射、单位换算和业务规则，是跨系统对账中最容易产生隐性错误的地方。
二、五个一致性维度的定义与判定
完整性回答“该有的有没有”。它包含记录完整性与字段完整性两个层面。记录完整性用记录覆盖率度量：若基准应有 1200 条，实际匹配到 1187 条，则记录覆盖率为 98.92%。字段完整性用字段完整率度量：若某条记录应有 8 个必填字段，实际非空 7 个，则该记录字段完整率为 87.5%。完整性不足通常意味着数据缺失，而非数据错误。
准确性回答“值对不对”。准确性需要一个参照基准，可以是标准方法测量值、人工复核值或高置信度来源。准确性用偏差度量：绝对偏差 = |观测值 − 基准值|，相对偏差 = 绝对偏差 / 基准值 × 100%。例如基准浓度为 50.0 mg/L，观测值为 51.2 mg/L，则绝对偏差 1.2 mg/L，相对偏差 2.4%。若规定相对偏差 ≤ 2% 为合格，则该值判定为不准确。
一致性回答“多源之间是否吻合”。一致性与准确性不同：两个来源可能都不准确，但彼此一致；也可能一个准确一个不准确，导致不一致。一致性用值一致率度量：在可比字段上，一致值数除以可比值总数。例如 1000 个可比测量值中，960 个在容差内一致，则值一致率为 96%。
唯一性回答“有没有重复或歧义”。唯一性用重复主键数度量。例如 1200 条记录中出现 3 组重复 sample_id，则唯一性冲突数为 3。唯一性冲突会导致后续值级对账出现一对多匹配，必须优先处理。
时效性回答“时间是否可接受”。时效性用时间窗口命中率度量：在匹配记录中，时间差落在规定窗口内的比例。例如规定窗口为 ±5 分钟，1000 条匹配记录中 985 条命中，则时间窗口命中率为 98.5%。时效性差通常反映采集延迟或时钟不同步，而非数据内容错误。
三、建立可度量的对账指标体系
将上述粒度与维度组合，可以形成一张对账指标表。以下是一份可直接用于实验数据对账的指标定义示例，字段和阈值可根据实际项目调整：
| 指标名称 | 所属维度 | 计算方式 | 示例阈值 | 不达标时的典型原因 |
|---|---|---|---|---|
| 记录覆盖率 | 完整性 | 共有记录数 / 基准应有记录数 | ≥ 99% | 采集遗漏、导出过滤条件不一致 |
| 字段完整率 | 完整性 | 非空必填字段数 / 应有必填字段数 | ≥ 98% | 传感器未回传、人工漏填 |
| 值一致率 | 一致性 | 容差内一致值数 / 可比值总数 | ≥ 97% | 单位不统一、精度截断、采集时刻不同 |
| 相对偏差合格率 | 准确性 | 相对偏差 ≤ 阈值的值数 / 参与比对值数 | ≥ 95% | 仪器校准偏差、方法差异 |
| 唯一性冲突数 | 唯一性 | 重复主键记录组数 | = 0 | 多次导入、主键生成规则冲突 |
| 时间窗口命中率 | 时效性 | 时间差在窗口内的记录数 / 匹配记录数 | ≥ 98% | 时区未统一、采集延迟、时钟漂移 |
四、粒度与维度的对应关系
五个粒度与五个维度并非一一对应，而是存在交叉。记录级对账主要服务于完整性和唯一性；字段级对账服务于完整性中的字段完整率；值级对账同时服务于一致性、准确性和部分唯一性；时间级对账服务于时效性；语义级对账则贯穿一致性与准确性，因为语义映射错误会同时表现为“值不一致”和“值不准确”。理解这种交叉关系，才能在对账结果异常时快速定位到正确的粒度层级，而不是在错误的层级反复排查。
例如，当值一致率偏低时，可能的原因分布在三个层级：值级本身（容差设置过严或精度截断）、时间级（两条记录采集时刻不同导致测量值自然漂移）、语义级（单位未换算，如 mg/L 与 μg/L 直接比对）。因此，对账报告应同时输出各粒度的中间结果，而不是只给一个最终一致率。