3、数据清洗概览：清洗流程、常见数据问题分类（重复、异常、标签错误）及清洗策略
TinyML 项目的成败往往不取决于模型结构的先进程度，而取决于喂给模型的数据质量。在资源受限的微控制器上，模型容量小、泛化能力有限，数据中的噪声、冗余和错误会被模型“死记硬背”，直接表现为推理准确率下降、过拟合或现场误触发。数据清洗不是可有可无的预处理步骤，而是 TinyML 模型性能的天花板。本章从清洗流程、问题分类和策略选择三个维度，建立一套可落地、可量化的数据清洗框架。
3.1 数据清洗的核心原理：为什么 TinyML 对数据质量更敏感
TinyML 模型通常部署在 Cortex-M 级别的 MCU 上，Flash 空间 256KB~1MB，RAM 仅 64KB~256KB。这种硬件约束决定了模型只能采用轻量级架构（如 MobileNetV1 的 0.25 倍宽度、DS-CNN、TinyLSTM），参数量从几万到几十万不等。与云端大模型相比，TinyML 模型的 表示容量有限，无法通过大量参数“吸收”数据中的噪声模式。如果训练集中存在 5% 的重复样本，模型会不恰当地放大这些样本对应的权重；如果存在 3% 的标签错误，模型的学习信号就会被污染，导致决策边界偏移。
从信息论角度看，数据清洗的本质是提高信噪比。原始传感器数据中既包含任务相关的有效信号（如关键词发音的声学特征、人体动作的加速度模式），也包含无关噪声（环境振动、电磁干扰、标注误差）。清洗的目标不是消除所有“看起来奇怪”的数据，而是保留真实分布中的多样性，剔除非代表性的噪声。例如，在关键词唤醒（KWS）任务中，不同说话人的口音差异是有效多样性，而麦克风削波产生的爆音则是需要剔除的异常。
另一个核心原理是数据分布一致性。训练集、验证集、测试集必须来自同一分布，否则会出现“训练准确率高、现场准确率低”的典型 TinyML 部署失败。清洗过程中需要检查各集合的类别比例、特征分布是否一致。例如，若训练集中“安静环境”样本占 80%，而实际部署场景中“嘈杂环境”占 60%，模型性能会严重退化。
3.2 清洗流程：从原始数据到可用数据集的五步迭代
一个规范的 TinyML 数据清洗流程包含五个阶段，每个阶段都有明确的输入、输出和验收标准。该流程不是一次性的，而是需要根据模型评估结果反复迭代。
| 阶段 | 输入 | 核心操作 | 输出 | 验收标准 |
|---|---|---|---|---|
| ① 原始数据采集 | 传感器原始流 | 按固定窗口切分（如 1s/帧）、标注元数据 | 原始样本集 | 样本量 ≥ 目标量 1.5 倍 |
| ② 重复检测 | 原始样本集 | 哈希去重 + 相似度聚类 | 去重样本集 | 重复率 < 2% |
| ③ 异常过滤 | 去重样本集 | 统计检测 + 业务规则 | 干净样本集 | 异常率 < 1% |
| ④ 标签校验 | 干净样本集 | 模型交叉验证 + 人工抽检 | 标注数据集 | 标签准确率 ≥ 98% |
| ⑤ 质量评估 | 标注数据集 | 分布检查、类别平衡、划分训练/验证/测试 | 最终数据集 | 各集合分布一致 |
在实际操作中，第②③④步往往需要交叉执行。例如，异常检测时发现某个样本的幅值异常，进一步检查发现是传感器在采集时短暂断连，该样本同时带有“数据缺失”和“标签可能错误”两个问题。因此，建议使用数据清洗日志记录每个样本的处理状态，便于追溯。
3.3 重复样本：检测方法与去重策略
重复样本是指数据集中出现两次或多次的样本，分为完全重复和近似重复两类。完全重复常见于数据采集时设备固定不动、环境无变化，连续采集的多个窗口数据几乎相同；近似重复则出现在采集对象缓慢变化（如人静坐时的 IMU 数据）或数据增强操作不当（如对同一原始样本做多次微小平移）时。
检测方法分为三个层次：
- 精确哈希去重：对每个样本的原始字节序列计算 MD5 或 SHA-1 哈希值，哈希相同的样本直接标记为重复。该方法速度快、无漏检，但无法识别近似重复。
- 特征相似度聚类：提取样本的统计特征（均值、方差、峰值、过零率等），使用余弦相似度或欧氏距离计算样本间距离，设定阈值（如相似度 > 0.95）判定为近似重复。对于高维时序数据，可先降维（PCA 或自编码器）再计算相似度。
- 模型辅助检测：训练一个轻量自编码器，计算重建误差。重复样本的重建误差通常较低，但该方法需要额外训练成本，适合样本量较大的场景。
去重策略上，完全重复直接删除，保留第一个出现的样本；近似重复则需结合业务判断。例如，在关键词唤醒任务中，同一说话人重复说 10 次“Hi 小智”，虽然波形相似但存在自然发音变化，不应全部删除，而是保留 3~5 个代表性样本，避免模型对特定发音过拟合。建议使用贪心去重算法：按时间顺序遍历样本，若当前样本与已保留样本的最小相似度低于阈值则保留，否则丢弃。
3.4 异常样本：从统计检测到业务规则
异常样本是指不符合传感器正常物理规律或任务语义的数据。在 TinyML 场景中，异常来源包括：传感器硬件故障（断连、短路、漂移）、环境干扰（电磁脉冲、温度突变）、人为操作失误（佩戴位置错误、采集设备跌落）。异常样本会干扰模型学习正常模式，甚至导致训练发散。
检测方法分为三类：
- 统计方法：计算每个样本的均值、标准差、最大值、最小值、能量等指标，使用 Z-score（|Z| > 3）或 IQR（超出 Q1-1.5×IQR 或 Q3+1.5×IQR）判定异常。适用于传感器数据服从近似正态分布的场景。
- 业务规则：根据传感器物理特性设定硬性阈值。例如，加速度计在静止时读数应为 ±0.1g 以内，若某样本的加速度值持续超过 4g（非剧烈运动场景），则判定为异常。麦克风数据若出现连续削波（幅值达到满量程且持续 10ms 以上），也属于异常。
- 模型方法：使用孤立森林或 One-Class SVM 训练异常检测器。该方法适合多维特征空间，但需要额外计算资源，建议在 PC 端离线完成。
异常样本的处理策略不是一律删除。对于传感器断连导致的零值段，如果断连时间短（< 50ms），可以用前后数据插值修复；如果断连时间长，则直接删除该样本。对于幅值饱和的样本，若饱和比例低于 10%，可做限幅处理；若超过 30%，说明采集增益设置不当，应调整硬件后重新采集。
3.5 标签错误：定位方法与修正策略
标签错误是 TinyML 数据清洗中最隐蔽、危害最大的问题。一个标注错误的样本，其影响远大于一个异常样本——异常样本只是“噪声”，而错误标签提供了“错误的学习信号”。在图像分类中，标签错误率 1% 就可能导致模型准确率下降 2~3 个百分点；在时序分类中，由于样本边界模糊，标签错误率往往更高。
标签错误的来源主要有：人工标注疲劳（连续标注 2 小时后准确率下降）、类别定义模糊（“咳嗽”和“清嗓子”的边界）、设备同步偏差（传感器数据和标签记录时间戳不一致）。定位方法包括：
- 模型预测交叉验证：用当前数据训练一个初步模型，对训练集进行预测，将预测结果与标注不一致的样本提取出来。这些样本是“疑似错误标签”，需要人工复核。注意：模型准确率本身不是 100%，所以预测不一致不等于标签错误，需要结合置信度判断。
- 置信度排序：使用模型输出的 softmax 概率，将低置信度（如 < 0.6）的样本按批次列出，优先检查这些样本的标签。该方法能显著减少人工复核的工作量。
- 聚类分析：对样本特征进行聚类（如 K-Means），检查同一聚类中是否出现不同标签。若某个聚类中 95% 样本属于 A 类，而少数样本标注为 B 类，则这些少数样本大概率是标签错误。
修正策略上，对于确认错误的标签，直接修改为正确类别；对于无法确认的样本，建议从训练集中剔除，放入“待定池”中，待后续采集更多数据后再判断。不要将不确定标签的样本放入验证集或测试集，否则会污染评估结果。
3.6 实战案例：智能家居关键词唤醒数据清洗
背景与约束：某智能家居项目需要训练一个关键词唤醒模型，识别“小智管家”这一唤醒词。硬件采用 Cortex-M4 平台，麦克风采样率 16kHz，每帧数据 1 秒（16000 个采样点）。目标是在 10dB 信噪比环境下达到 95% 唤醒率、误唤醒率低于 1 次/24 小时。团队采集了 5 天数据，共 12000 个样本，其中正样本（包含唤醒词）4000 个，负样本（其他语音或噪声）8000 个。
初始现象：第一轮训练后，模型在测试集上准确率 96%，但在实际部署测试中唤醒率仅 78%，误唤醒率高达 5 次/小时。进一步分析发现，训练集和测试集存在严重的数据分布偏差。
清洗过程：
- 重复检测：对 12000 个样本计算 MD5 哈希，发现 850 个完全重复样本（占 7.1%），主要集中在夜间安静时段——设备固定不动，环境噪声几乎不变，连续采集的负样本高度相似。删除完全重复样本后，剩余 11150 个样本。
- 异常过滤：计算每个样本的 RMS 能量和峰值。发现 120 个样本的 RMS 能量为 0（麦克风断连），45 个样本峰值达到满量程且持续超过 50ms（削波）。删除这 165 个异常样本，剩余 10985 个。
- 标签校验：用初步模型对训练集预测，提取出 320 个预测与标注不一致的样本。人工复核后发现：其中 210 个确实是标签错误（多为“小智管家”和“小智掌柜”混淆），80 个是边界模糊样本（说话人发音不标准），30 个是模型误判。修正 210 个错误标签，剔除 80 个模糊样本。
- 分布检查：清洗后正样本 3850 个，负样本 7045 个，比例约 1:1.8，符合预期。但发现正样本中 70% 来自男性说话人，女性说话人仅占 30%。通过补充采集女性说话人数据，最终正样本中男女比例调整为 1:1。
结果对比：清洗后重新训练，测试集准确率提升至 98.2%，实际部署唤醒率达到 93%（接近目标 95%），误唤醒率降至 0.8 次/24 小时。更重要的是，模型在嘈杂环境下的鲁棒性显著提升。
复盘经验：数据清洗不是一次性工作，而是需要与模型评估联动。第一次清洗后模型性能提升明显，但第二次清洗（针对标签错误）的提升幅度较小，说明数据清洗的边际收益递减。建议在清洗过程中记录每次操作的收益，当收益低于 0.5% 准确率提升时，停止清洗，转向模型优化。
3.7 常见误区与总结复盘
误区一：清洗越多越好。过度清洗会删除真实世界中的边缘样本，导致模型在部署时遇到“没见过”的情况。例如，在关键词唤醒中，儿童声音和老人声音与成年男性差异较大，如果将这些“异常”样本删除，模型在儿童和老人面前会失效。
误区二：只关注重复和异常，忽视标签错误。标签错误的影响是隐性的，不会导致训练崩溃，但会持续拉低准确率上限。建议在每次清洗流程中至少做一轮标签校验。
误区三：清洗后不验证分布一致性。清洗操作可能改变类别比例和特征分布。例如，删除异常样本时，如果异常样本集中在某个特定环境（如户外），会导致训练集和测试集分布不一致。清洗后必须重新检查训练/验证/测试集的分布。
误区四：忽略清洗日志。没有记录清洗操作的数据集无法复现，也无法判断清洗策略是否合理。建议使用 CSV 或 JSON 格式记录每个样本的清洗状态（保留/删除/修改标签）和原因。
总结：数据清洗是 TinyML 项目中最“划算”的投入——不需要额外硬件成本，却能显著提升模型性能。核心要点是：重复样本用哈希+相似度检测，异常样本用统计+业务规则，标签错误用模型交叉验证+人工复核。每次清洗操作都要有依据、有记录、有验证。当清洗收益递减时，及时停止，将精力转向模型架构优化或数据增强。