1. 实验数据清洗与转换工程导论

实验数据清洗与转换工程，研究的不是某一次“把表格里的空值删掉”，而是如何把从仪器、采集卡、传感器、日志系统或人工记录中得到的原始数据，稳定、可复现、可追溯地变成可分析、可建模、可归档的数据资产。它位于实验流程与数据分析之间，是数据进入统计、机器学习或仿真之前的“加工车间”。如果缺少这一层工程化处理，后续分析往往会被量纲错误、时间错位、异常点、重复记录和缺失片段持续污染，结论也就难以复现。

课程定位：连接实验现场与数据结论

本课程面向实验科学、工程测试、自动化采集和数据分析的交叉场景。它不把清洗与转换当作零散技巧，而是当作一条可设计、可测试、可维护的数据处理链。学习者需要同时理解三件事：实验对象如何产生数据，数据在采集与存储中如何失真，以及用什么工程手段把失真控制在可接受范围内。课程最终希望达到的目标是：给定一批原始实验数据，能够识别其结构、质量问题和物理含义，设计出合理的清洗规则与转换流程，并用可验证的方式证明处理结果满足分析要求。

核心目标可以概括为四个层次：第一，能读懂原始数据的“出身”，包括采样率、通道定义、单位、时间基准和存储格式；第二，能发现并分类数据缺陷，如缺失、重复、越界、漂移、噪声、时间戳跳变；第三，能选择并实现合适的清洗与转换操作，如去重、插补、滤波、重采样、单位换算、坐标变换和特征派生；第四，能对处理结果做质量评估与追溯，说明每一步改变了什么、为什么改、改后是否仍保留实验事实。

实验数据全生命周期中的清洗与转换环节

实验数据通常经历“产生—采集—传输—存储—预处理—分析—归档”几个阶段。清洗与转换并不是只在最后出现，而是贯穿其中。例如，在采集阶段就要关注量程和采样率是否匹配；在传输阶段要检查丢包和乱序；在存储阶段要统一时间戳格式和单位；在预处理阶段才集中进行去重、插补、滤波、对齐和派生计算。把清洗与转换前移，往往比事后补救更有效，因为很多错误一旦写入存储，后续很难无损恢复。

下面这张图给出实验数据从原始信号到可用数据集的典型处理链，重点表达各环节的输入、处理动作和输出形态，而不是简单罗列步骤名称。

典型工程挑战

实验数据清洗与转换的困难，往往不在算法本身，而在数据来源的复杂性和实验语义的约束。第一类挑战是多源异构：一台设备输出 CSV，另一台输出二进制，第三台通过串口发送文本帧，时间基准和单位各不相同。第二类挑战是时间不一致：不同通道的采样率不同，触发时刻有偏移，系统时钟与设备时钟存在漂移。第三类挑战是缺失与异常并存：传感器掉线造成连续缺失，电磁干扰造成尖峰，机械松动造成周期性异常，这些问题的处理方式完全不同。第四类挑战是物理约束：温度不可能在 1 ms 内跳变 50 ℃，位移不能超过行程上限，清洗规则必须尊重这些先验知识，否则会把真实突变误判为噪声。

此外，还有可复现性与可追溯性的要求。实验数据一旦被清洗，原始信息就可能被覆盖。工程上通常要求保留原始数据副本，并记录每一步处理的操作类型、参数、执行时间和影响范围。这样当分析结果异常时，可以回溯到具体环节，而不是只能重新采集。

整体技术栈概览

从工具角度看，实验数据清洗与转换通常涉及四层技术。最底层是数据读取与解析层，负责处理 CSV、Excel、HDF5、MAT、二进制帧、数据库查询结果等格式，常用 Python 的 pandas、NumPy、h5py、scipy.io 等库。第二层是质量诊断与清洗层，包括缺失值统计、重复检测、异常检测、滤波和插补，常用 pandas 的缺失值方法、scipy.signal 的滤波器设计、sklearn 的异常检测工具。第三层是转换与对齐层，涉及单位换算、重采样、时间对齐、坐标变换和特征派生，常用 pandas 的 resample、merge_asof，以及 scipy.interpolate 的插值方法。第四层是流程编排与追溯层，可以用脚本、配置文件或轻量工作流工具把处理步骤串起来，并输出处理日志和质量报告。

需要强调的是，技术栈不是越复杂越好。对于大多数实验场景，一个结构清晰的 Python 脚本加上配置文件，就足以完成从原始数据到可用数据集的转换。关键在于每一步都有明确目的、可验证结果、可回退路径。例如，下面这段示例代码展示了读取原始 CSV、检查缺失和重复、按时间排序并输出质量摘要的基本骨架。示例中的列名和阈值属于教学假设，实际使用时需要根据实验定义调整。

import pandas as pd

# 读取原始实验数据，保留原始副本
raw = pd.read_csv("experiment_raw.csv", parse_dates=["timestamp"])
df = raw.copy()

# 质量诊断：缺失率与重复时间戳
missing_rate = df.isna().mean()
dup_ts = df["timestamp"].duplicated().sum()

# 按时间排序，去除完全重复行
df = df.sort_values("timestamp").drop_duplicates()

# 对关键通道做范围检查（示例阈值）
valid = df["temperature"].between(-20, 150)
out_of_range = (~valid).sum()

print("缺失率：\n", missing_rate)
print("重复时间戳数：", dup_ts)
print("越界温度点数：", out_of_range)

运行后，如果发现某通道缺失率超过 30%，就不应简单插补，而要先检查采集设备或传输链路；如果重复时间戳集中在某一段，可能是采集程序重发或时钟回拨；如果越界点集中在实验开始阶段，可能是传感器预热未完成。这些判断依赖对实验过程的理解，而不是单纯依赖代码。

从“会处理”到“会设计”

学习本课程后，面对一批新的实验数据，应该先做数据画像：有多少行、多少列、每列的单位和量程、时间戳范围与采样间隔、缺失和重复的分布。然后根据分析目标确定清洗策略：如果目标是趋势分析，可以容忍少量缺失并采用插补；如果目标是峰值检测，则必须谨慎滤波，避免削峰；如果目标是多设备融合，则时间对齐和坐标统一是重点。最后，把处理过程写成可重复执行的脚本或配置，并输出质量报告，使别人能够复现你的结果。

实验数据清洗与转换工程，本质上是在实验事实与数据结论之间建立一条可信通道。它既需要数据处理的技能，也需要对实验对象的理解，还需要工程化的流程意识。掌握这条通道的设计方法，后续的统计分析、机器学习和仿真建模才有可靠的基础。