📚 课程目录第4章温湿度数据采集与预处理实战

4. 温湿度数据采集与预处理实战

在植物工厂里，温湿度传感器每秒都在产生读数，但“有数据”不等于“有可用数据”。从传感器输出的原始电信号到最终进入数据库、可供调控决策使用的环境记录，中间要经过采集频率设定、异常值识别、缺失值处理、平滑滤波和结构化存储几个环节。本节围绕这条数据链路展开，并给出一个可直接落地的小型监测数据表设计。

一、采集频率：先想清楚“要多快”，再决定“存多密”

采集频率取决于被测量的变化速度和调控需求。植物工厂的栽培架温度受空调、LED补光和灌溉影响，分钟级变化通常较缓；而靠近出风口、加湿器喷口的位置，湿度可能在数十秒内剧烈波动。一般建议：原始采样间隔设为30～60秒，足以捕捉空调启停、加湿动作引起的阶跃；对于需要研究冠层微环境的场景，可提高到10～15秒。

但“采样快”不等于“存储密”。常见做法是分层：传感器以30秒采样，边缘节点在本地做1分钟聚合（均值、最值），数据库只存1分钟粒度的记录。这样既保留了波动特征，又把数据量压缩到原来的1/2。示例参数：单栋温室布置8个温湿度测点，30秒采样、1分钟入库，一天约产生 8×1440＝11520 条记录，对普通关系型数据库完全可控。

采集频率一旦确定，应在整个系统内保持一致，并在数据表中记录采样间隔字段，避免后期不同批次数据混用时无法判断时间粒度。

二、异常值识别与剔除：先定“什么是异常”

温湿度数据的异常主要有三类：物理越界（如温度-40℃、湿度120%RH）、跳变异常（相邻两点差值远超物理可能，如1分钟内温度跳升15℃）、持续卡死（数值长时间完全不变，常见于传感器故障或通信中断后保持最后值）。

工程上常用“3σ准则＋变化率阈值”组合判断。以温度为例，先对某测点近24小时数据计算均值μ和标准差σ，若某点满足 |x−μ|＞3σ 则标记为疑似异常；再叠加变化率约束：|xₜ−xₜ₋₁|＞2℃/min 时也标记。两条规则命中任一即进入待确认队列，而不是直接删除——因为真实的空调故障也可能造成大幅跳变，直接删掉会掩盖问题。

剔除策略建议：物理越界值直接置为缺失；跳变异常先标记，若连续3个点都偏离则判定为真实工况变化并保留，否则按缺失处理；卡死数据在连续N个点完全相同时标记，N可取10（即5分钟无变化）。

三、缺失值处理与平滑滤波

缺失值分两种：单点缺失和连续缺失。单点缺失（如1～2个采样周期）用线性插值补齐即可；连续缺失超过5分钟，不宜插值，应保留为空并在分析时排除，同时触发传感器巡检告警。插值公式简单：xₜ＝xₜ₋₁＋(xₜ₊₁−xₜ₋₁)×(t−tₜ₋₁)/(tₜ₊₁−tₜ₋₁)。

平滑滤波用于压制随机噪声。移动平均最易实现，窗口取5～15个点；但对阶跃响应有滞后，空调启停这类真实突变会被“抹平”。因此更推荐中值滤波＋滑动平均组合：先用窗口5的中值滤波剔除孤立尖峰，再做窗口5的滑动平均。示例：原始序列 24.1、24.3、31.8、24.2、24.4，中值滤波后31.8被替换为24.3，尖峰消除而趋势保留。

四、数据存储与数据库设计

监测数据表的设计要兼顾查询效率与可追溯性。核心字段包括：自增主键、测点编号、采集时间戳（统一存UTC或带时区）、温度值、湿度值、质量标记、采样间隔。时间戳与测点编号建立联合索引，因为最常见的查询是“某测点某时间段”。

质量标记字段是很多初学者容易忽略的：它让后续分析能区分“真实值”“插值补齐”“被剔除”和“传感器卡死”，避免把插值结果当成实测数据使用。建议取值：0正常、1插值、2剔除、3卡死、4待确认。

CREATE TABLE env_monitor (
  id          BIGINT PRIMARY KEY AUTO_INCREMENT,
  sensor_id   VARCHAR(16)  NOT NULL,
  ts          DATETIME     NOT NULL,
  temp_c      DECIMAL(5,2),
  rh_pct      DECIMAL(5,2),
  quality     TINYINT      DEFAULT 0,
  interval_s  SMALLINT     DEFAULT 60,
  INDEX idx_sensor_ts (sensor_id, ts)
);

五、实战：搭建一个小型监测数据表

以单栋温室8个测点、1分钟入库为例，完整流程如下：传感器每30秒上报，边缘节点按分钟聚合出均值写入临时缓冲区；缓冲区数据逐条经过异常判断，命中规则的写入待确认队列并打上质量标记；缺失点按前述规则插值或留空；最后批量插入 env_monitor 表。

验证环节建议做三件事：其一，抽查某测点连续10分钟记录，确认时间戳间隔均为60秒、无重复；其二，人为拔掉一个传感器5分钟，检查该时段记录是否被标记为缺失而非填入错误值；其三，统计一天内各质量标记的占比，正常值占比低于95%时应排查传感器或通信链路。示例判断标准：正常标记占比≥95%、单点缺失插值占比≤3%、卡死标记为0，视为当日数据质量合格。

不要为了“让数据好看”而大量插值或删除异常点。异常值本身往往是最有价值的运维线索，保留标记比直接清除更重要。

把这条链路固定下来后，温湿度数据才真正成为可用的管理依据：调控策略可以基于可信数据触发，历史回溯也能说清楚每个数值的来源与处理方式。