2. 数据修复工程的核心原则与边界
数据修复工程最容易犯的错误，是把“能改”当成“该改”。一条缺失的传感器读数可以插值补上，一条时间戳错位的记录可以重新对齐，但一条被物理覆盖、从未落盘、或采集端就未触发的数据，无论用什么算法都无法还原其真实值。修复工程的第一原则因此不是“尽量修”，而是先判定可修复性，再决定是否修复。修复的边界一旦模糊，后续所有质量指标都会失去意义。
一、可修复与不可修复的判定依据
判断一条数据是否可修复，核心看三件事：信息是否曾经存在、是否留有可推断的痕迹、推断依据是否独立于被修复对象。三者同时成立，才进入可修复区间。
- 可修复：信息曾真实产生并留下可观测痕迹。例如传感器短时丢包，但前后时刻读数连续、采样周期稳定，可用时间序列插值重建；又如两条记录因主键冲突被覆盖，但原始日志中仍保留完整字段，可回填。
- 条件可修复：信息本身丢失，但存在外部约束可反推。例如某批次实验的温度值缺失，但同批次其他通道温度一致、且工艺规程限定了温度区间，可依据约束估计一个区间值，而非精确值。
- 不可修复：信息从未被记录，或记录已被不可逆破坏。例如设备断电导致缓冲区数据全部丢失、采样触发条件从未满足、原始文件被覆盖写。此时任何“修复”都只是生成新数据，属于伪造而非修复。
工程上常用一个简单判据：若修复结果无法被任何独立证据证伪，则它不可信。插值结果可以被相邻真实点检验，回填结果可以被原始日志检验；而凭空生成的值没有任何检验锚点，应直接标记为不可修复并进入隔离区，而不是进入修复流水线。
二、修复置信度：给每个修复结果一个可信分数
修复置信度不是算法自评的“准确率”，而是对本次修复所依赖证据强度的量化。工程上建议用三个可观测维度加权：
- 证据强度：修复依据来自真实相邻点、外部约束还是模型外推。相邻真实点权重最高，模型外推最低。
- 方法可靠性：同一方法在历史数据上的回测表现。例如线性插值在平稳段可靠，在突变段不可靠。
- 可验证性：修复结果能否被独立数据源交叉验证。能被验证的修复，置信度应显著高于无法验证的修复。
一个可落地的示例：设证据强度权重 0.5、方法可靠性 0.3、可验证性 0.2，三项均按 0～1 打分。某条温度缺失记录，前后 3 个采样点连续且平稳（证据 0.9），线性插值在该工况回测误差小于 0.5%（方法 0.85），且同批次另一传感器可交叉验证（可验证 0.8），则置信度为 0.9×0.5 + 0.85×0.3 + 0.8×0.2 = 0.865。若业务可接受阈值为 0.8，该修复可采纳；若某条记录只能靠模型外推（证据 0.3、方法 0.5、可验证 0.2），置信度仅 0.34，应直接降级为“估计值”而非“修复值”。
三、信息损失容忍度与业务可接受阈值
信息损失容忍度回答的是“修完之后，这条数据还能不能支撑原定用途”。它与业务可接受阈值是两个不同层级的概念：容忍度是数据层面的上限，阈值是业务层面的下限。容忍度决定“最多能丢多少”，阈值决定“至少要多可信才能用”。
| 字段类别 | 信息损失容忍度 | 业务可接受阈值（置信度） | 超限处理 |
|---|---|---|---|
| 关键字段（如实验条件、主结果） | 0，不允许缺失或估计 | ≥ 0.95 | 隔离并触发人工复核 |
| 一般字段（如过程参数、中间量） | ≤ 5% 记录可修复 | ≥ 0.80 | 降级标记，进入抽样复核 |
| 辅助字段（如环境备注、设备编号） | ≤ 20% 记录可修复 | ≥ 0.60 | 保留但标注“低置信” |
阈值不是拍脑袋定的，而应由业务用途反推。若这批数据用于最终实验结论，关键字段阈值必须接近 1；若仅用于过程监控或趋势观察，一般字段阈值可适当放宽。阈值一旦确定，就应写入修复策略配置，而不是每次修复时临时判断。
四、边界原则的落地：三条硬规则
- 不可修复数据不得进入修复流水线。一旦判定为不可修复，直接隔离并记录原因，禁止用“估计值”冒充“修复值”。
- 修复结果必须携带置信度与修复方法标识。没有元数据的修复值，等同于不可信数据。
- 置信度低于业务可接受阈值时，修复结果只能降级使用。降级意味着它不能参与关键结论，只能用于辅助分析或趋势参考。
把可修复性判定、置信度计算、容忍度与阈值校验串起来，就形成了修复工程的第一道质量闸门。它不追求“修得最多”，而是保证“修得可信、修得可追溯、修得不越界”。只有这道闸门立住，后续的修复算法、质量闭环和复盘才有稳定的判断基准。