2. 实验数据质量维度与评估框架
在多源实验数据清洗中，"质量"不能停留在"看起来对不对"的直觉判断上。不同来源的数据（仪器采集、人工录入、外部数据库、仿真输出）在结构、精度、更新频率上差异巨大，必须先把质量拆解为可定义、可度量、可比较的维度，才能形成统一的评估框架，为后续清洗策略提供依据。本节围绕六个核心质量维度展开，并给出量化指标与一份多源数据质量报告的示例。
六个核心质量维度
完整性关注"该有的数据是否都在"。它既包括记录级缺失（某次实验记录整条丢失），也包括字段级缺失（某条记录中温度字段为空）。完整性差会直接导致样本量不足或统计偏差。
准确性关注"数据值是否真实反映被测对象"。常见问题包括传感器漂移、量程超限、人工录入错位、单位换算错误。准确性通常需要借助参考值、物理约束或重复测量来判定。
一致性关注"同一事实在不同来源、不同字段间是否自洽"。例如同一实验批次在仪器日志中编号为 EXP-2024-031，在人工记录表中却写成 2024-031；或时间戳格式混用 2024/03/15 与 15-03-2024。一致性是多源融合中最容易出问题的维度。
唯一性关注"是否存在重复记录"。重复可能来自多次导入、设备重传或人工重复登记。重复数据会放大某些样本的权重，扭曲统计结果。
时效性关注"数据是否在有效时间窗口内"。实验数据往往有明确的采集周期与有效期，过期数据（如校准证书过期后的测量值）在分析中应被标记或剔除。
有效性关注"数据是否符合业务规则与格式约束"。例如温度值落在 -273.15℃ 以下、pH 值超出 0~14、日期字段出现 2024-02-30，都属于有效性违规。
量化指标与计算方法
把维度转化为指标，关键是让每个指标都能用一条可执行的公式表达，并设定阈值。以下给出常用指标的定义方式（示例阈值可根据实验类型调整）：
- 完整性：字段缺失率 = 空值单元格数 ÷ 总单元格数；记录缺失率 = 缺失记录数 ÷ 应有记录数。示例阈值：字段缺失率 ≤ 2%。
- 准确性：超限率 = 超出物理量程的记录数 ÷ 总记录数；偏差率 = |测量值 − 参考值| ÷ 参考值。示例阈值：偏差率 ≤ 1%。
- 一致性：冲突率 = 跨源比对不一致的记录数 ÷ 参与比对记录数。比对键通常为"实验批次号 + 时间戳"。
- 唯一性：重复率 = 重复记录数 ÷ 总记录数，重复判定基于业务主键（如批次号 + 测点编号 + 采集时间）。
- 时效性：过期率 = 采集时间超出有效期窗口的记录数 ÷ 总记录数。
- 有效性：规则违规率 = 违反格式或业务规则的记录数 ÷ 总记录数。
综合质量得分可采用加权求和：Q = 0.25·完整性 + 0.25·准确性 + 0.2·一致性 + 0.1·唯一性 + 0.1·时效性 + 0.1·有效性，其中各维度得分 = 1 − 对应违规率。权重体现"准确与完整优先"的实验数据特点，实际项目中可根据分析目标调整。
案例：多源数据质量报告
假设某材料实验平台汇集三类数据源：A 为高温炉传感器采集（CSV，每 10 秒一条），B 为人工记录表（Excel，每批次一条），C 为外部标准数据库导出（JSON，含参考物性值）。对最近一个批次共 12,000 条记录做质量评估，得到如下报告（示例数据，用于说明报告结构与判读方式）：
| 维度 | 指标 | 实测值 | 阈值 | 判定 | 主要问题来源 |
|---|---|---|---|---|---|
| 完整性 | 字段缺失率 | 3.8% | ≤2% | 不达标 | A 源湿度字段间歇性空值 |
| 准确性 | 超限率 | 0.6% | ≤1% | 达标 | 少量温度尖峰 |
| 一致性 | 冲突率 | 2.4% | ≤1% | 不达标 | 批次号格式不统一 |
| 唯一性 | 重复率 | 0.3% | ≤0.5% | 达标 | B 源重复登记 |
| 时效性 | 过期率 | 1.1% | ≤3% | 达标 | 校准过期后少量记录 |
| 有效性 | 规则违规率 | 1.7% | ≤1% | 不达标 | 日期格式与 pH 越界 |
按公式计算综合得分：完整性 0.962、准确性 0.994、一致性 0.976、唯一性 0.997、时效性 0.989、有效性 0.983，加权后 Q ≈ 0.981。整体看似较高，但完整性、一致性、有效性三项未达标，说明问题集中在"跨源对齐"和"录入规范"上，而非传感器本身。据此可确定清洗优先级：先统一批次号与日期格式（提升一致性与有效性），再对 A 源湿度空值做插补或标记（提升完整性），最后处理少量重复与过期记录。
建立这套维度与指标框架后，后续的清洗规则、插补策略和格式标准化都可以直接对应到具体维度与阈值上，使清洗工作从"凭经验处理"转变为"按指标驱动"。