1. 课程导论：厂务数据清洗的重要性、PLC数据采集的典型场景与异常值影响
1.1 为什么厂务数据清洗是智能制造的基石
在工业物联网（IIoT）与智能厂务管理系统中，PLC（可编程逻辑控制器）是连接物理设备与数字世界的核心枢纽。PLC 以毫秒级频率采集水、电、气、暖等公用设施的实时运行参数，这些数据直接驱动着能源调度、设备预测性维护、碳排放核算等关键决策。然而，工业现场电磁干扰、传感器漂移、通信丢包、设备启停冲击等因素，会导致采集数据中混入大量异常值。如果不经过系统化的数据清洗，这些“脏数据”将引发误报警、错误能耗分析，甚至导致自动化控制逻辑误动作。
1.2 PLC 数据采集的典型场景：水电气暖
厂务系统通常覆盖四大公用工程介质，每种介质的 PLC 采集点位数、采样频率、异常值特征均有显著差异。下表梳理了典型场景及其数据特性：
| 介质类型 | 典型采集参数 | 采样频率 | 常见异常值成因 |
|---|---|---|---|
| 水 | 瞬时流量、累计流量、压力、pH、浊度 | 1s ~ 10s | 管道水锤冲击、气泡干扰、传感器结垢漂移 |
| 电 | 电压、电流、有功功率、功率因数、谐波 | 0.1s ~ 1s | 电机启停浪涌、谐波畸变、CT 饱和、通信瞬断 |
| 气 | 压缩空气流量、压力露点、温度、阀门开度 | 1s ~ 5s | 空压机加载/卸载冲击、管路冷凝水堵塞 |
| 暖 | 供回水温度、温差、热流量、阀门开度 | 5s ~ 60s | 电动阀动作滞后、热惯性导致的温度过冲 |
从数据治理视角看，水电气暖场景存在一个共性挑战：正常工况与异常工况的边界模糊。例如，电机启动瞬间的电流尖峰是正常物理现象，但在统计平均功率时却属于需要过滤的“瞬态异常”。因此，清洗策略必须结合工艺知识，而非简单套用统计学阈值。
1.3 异常值对生产决策的影响：从误报到误判
异常值对厂务管理的影响是链式传导的。一个被污染的流量数据，可能引发从报表到控制指令的连锁错误。下图展示了异常值在数据价值链中的传播路径：
从传播路径可以看出，异常值的危害具有累积放大效应。在数据采集层，一个持续 2 秒的电流尖峰（如 500A 突跳至 1200A），如果未经清洗直接进入需量计算，可能导致当月最大需量电费增加数万元。在控制层，错误的温度数据可能触发冷却塔风机高速运转，造成电能浪费与机械磨损。
1.4 异常值的分类与识别框架
在厂务数据清洗实践中，我们将异常值归纳为以下三类，每类需要不同的处理策略：
- 点异常（Point Anomaly）： 单个数据点显著偏离正常范围。例如：压力传感器因雷击瞬间输出 0 MPa。处理策略：基于固定阈值或统计分位数截断。
- 上下文异常（Contextual Anomaly）： 在特定时间窗口内表现异常，但值可能正常。例如：夜间非生产时段出现大流量用水。处理策略：结合时间戳与工况标签进行规则过滤。
- 集合异常（Collective Anomaly）： 一组连续数据点共同呈现异常模式。例如：通信中断导致连续 100 个采样点保持同一数值（死值）。处理策略：滑动窗口方差检测 + 重复值模式识别。
1.5 课程学习路径与预期收益
本课程将围绕“识别 → 过滤 → 修复 → 验证”四阶段清洗流水线展开，覆盖从 PLC 原始数据接入到清洗后数据入库的全链路。通过 30 章的系统学习，您将掌握：
| 阶段 | 核心能力 | 对应章节 |
|---|---|---|
| 基础篇 | 理解 PLC 数据特征、异常值分类、清洗流程设计 | 第 1~5 章 |
| 方法篇 | 统计学过滤、规则引擎、机器学习异常检测 | 第 6~15 章 |
| 实战篇 | Python 清洗流水线构建、实时/离线清洗架构 | 第 16~25 章 |
| 治理篇 | 数据质量度量、清洗效果验证、运维监控 | 第 26~30 章 |
完成本课程后，您将能够独立搭建一套适用于半导体、汽车、制药等高端制造业的厂务数据清洗系统，将数据异常率从常见的 5%~15% 降低至 0.5% 以下，显著提升能源管理、设备运维与碳排放核算的数据可信度。