1. 课程导入与实验数据全景

在真实的科研与工程实验中，数据很少以“干净、统一、可直接分析”的形态出现。一次完整的实验往往同时产生多种来源、多种格式的数据：仪器自动导出的原始记录、实验人员手写的观察笔记、实验室数据库中的历史批次、以及通过 API 实时拉取的在线监测数据。这些数据在进入分析模型之前，必须先经过清洗与标准化。本课程要解决的核心问题，就是如何把“多源、异构、脏乱”的实验数据，转化为“结构一致、语义明确、质量可控”的可用数据集。

一、多源实验数据的典型来源

从数据产生的环节看，实验数据通常来自四类通道，它们各自带有不同的可靠性特征与处理难点。

• 仪器导出：如光谱仪、色谱仪、传感器采集卡、示波器等。这类数据通常由设备固件或配套软件生成，格式固定但往往带有厂商私有头信息、时间戳格式不统一、单位标注缺失等问题。例如某型号采集卡导出的 CSV 前 12 行是设备元信息，第 13 行才是列名，直接读取会导致列错位。
• 人工记录：实验记录本、纸质表格、Excel 手工录入。这类数据灵活但一致性差，常见问题包括同一字段多种写法（“25℃”“25摄氏度”“25 C”）、空值用“—”“N/A”“无”混用、日期格式随记录人变化。
• 数据库：实验室信息管理系统（LIMS）、历史实验库。数据相对规范，但存在表结构差异、字段命名不统一、跨批次主键冲突等问题，且常需要关联多张表才能还原一次完整实验。
• API：在线监测平台、云端仪器、公开数据服务。数据以 JSON 或 XML 返回，结构嵌套深、字段可能随版本变化，且需要处理分页、限流与网络异常。

这四类来源并不是孤立存在的。一次实验可能同时用到仪器导出的原始谱图、人工记录的样品编号、数据库中的批次信息，以及 API 拉取的環境参数。清洗工作的第一步，就是把这些来源在“实验—样品—测量”这一语义主线上对齐。

二、常见数据格式及其处理要点

格式决定了读取方式，也决定了清洗的切入点。下表概括了五类常见格式在本课程语境下的关键特征。

需要强调的是，格式本身没有优劣，关键在于是否保留了足够的语义信息。CSV 简单但丢失类型，JSON 结构清晰但嵌套复杂，二进制紧凑但必须依赖协议文档才能解读。清洗方案必须针对格式特征设计，而不能用一套通用脚本硬套所有来源。

三、清洗与标准化的目标

清洗与标准化不是“把数据变好看”，而是要让数据满足三个可验证的目标：结构一致（同一类实体在不同来源中具有相同的字段与层级）、语义明确（单位、时间基准、缺失含义有明确定义）、质量可控（异常值、重复记录、缺失比例可度量、可追溯）。

以一个温度实验为例：仪器导出列名为 Temp_C，人工记录写作“温度(℃)”，数据库字段为 temperature_celsius，API 返回 {"temp": {"value": 25.3, "unit": "C"}}。标准化的目标就是把这四种表达统一映射到同一字段 temperature_celsius，单位统一为摄氏度，数值类型统一为浮点数，并对缺失与异常给出统一标记。只有完成这一步，后续的统计分析与建模才有意义。

四、主要挑战与本节知识地图

多源数据清洗的挑战集中在四个方面：异构性（格式与结构不同）、不一致性（命名、单位、编码不统一）、不完整性（缺失与截断）、不可追溯性（清洗过程未记录，无法复现）。这四类挑战贯穿后续所有章节，也决定了本课程的技术路线：先建立数据全景认知，再逐层处理格式解析、字段映射、质量检查与流程固化。

上图把本节的知识结构压缩为一条主线：四类来源经由五种格式进入处理流程，而清洗标准化要同时应对异构、不一致、缺失与不可追溯四类挑战，最终落到结构、语义、质量三个可验证的目标上。底部的温度示例说明，标准化的实质是建立“同一物理量、同一字段、同一单位”的映射规则，而不是简单地删除空行或替换字符。

理解数据全景的意义在于：清洗不是从写代码开始的，而是从认清“数据从哪来、长什么样、要变成什么样”开始的。只有先建立来源、格式、目标三者之间的对应关系，后续的解析、映射、校验与流程固化才有明确依据，也才能在面对新来源时快速判断应复用哪条处理路径。