1. 智慧农业数据概述：传感器数据类型、采集频率、数据量级与常见质量问题

各位同学，咱们这门课叫《智慧农业数据清洗与融合技巧》。开篇第一章，我不打算上来就扔一堆枯燥的定义。咱们先聊聊——智慧农业的数据到底长什么样？

说白了，智慧农业就是给土地、作物、设备装上“眼睛”和“耳朵”。这些“眼睛耳朵”就是传感器。它们每天产生海量数据，但数据质量嘛……嗯，我做了这么多年数据工程，可以负责任地告诉你：农业数据是出了名的“脏”。

1.1 传感器数据类型：从土壤到天空

我个人习惯把智慧农业的传感器数据分成四大类。你想想看，种地需要关注什么？土、水、气、光、虫、设备状态——基本就这些。

数据类别	典型传感器	采集参数	数据特点
环境气象类	温湿度计、风速仪、光照传感器、雨量计	温度、湿度、风速、光照强度、降水量	变化相对平缓，但有日周期和季节规律
土壤基质类	土壤水分传感器、pH计、EC计、氮磷钾传感器	土壤含水量、酸碱度、电导率、养分含量	空间异质性大，同一块地不同点位差异明显
作物生理类	茎秆微变化传感器、叶绿素仪、果实膨大传感器	茎秆直径、叶绿素相对值、果实直径	数据量小但精度要求高，容易受风、震动干扰
设备状态类	灌溉阀门传感器、电机转速计、GPS定位器	开关状态、转速、经纬度、电压电流	离散事件型数据，异常值往往代表设备故障

我在项目中遇到过最头疼的，是土壤水分传感器。同一块地，埋深差10厘米，读数能差30%。后来我总结了一个经验：土壤数据必须做空间插值，不能拿单点当全局。

1.2 数据采集频率：从秒级到天级

采集频率这事，很多初学者容易忽略。其实它直接决定了你的数据量级和清洗策略。

• 高频数据（秒级~分钟级）：气象站、温室环境控制器。比如温度传感器，很多大棚是每10秒上报一次。一天就是8640条记录，一个基地100个传感器，一天86万条。
• 中频数据（小时级）：土壤墒情监测。我个人建议土壤水分不要采太频繁，1小时一次足够。采太密反而引入大量噪声——土壤水分不会在几分钟内突变。
• 低频数据（天级）：作物生长指标、果实直径。这些靠人工测量或慢速传感器，一天一次甚至一周一次。

1.3 数据量级特征：别被“大数据”吓到

很多人一听到“智慧农业数据”，就觉得是海量数据。其实不然。咱们来算笔账：

• 一个中型农场（100亩），部署50个传感器，每个传感器每小时采集1条数据，一天就是1200条。一年不到44万条。
• 但如果加上视频监控（比如虫情监测摄像头），一天可能产生几十GB的视频数据。

所以智慧农业的数据量级是两极分化的：

数据类型	单设备日数据量	100亩农场年数据量	存储建议
环境传感器（文本）	~10 KB	~3.6 GB	关系型数据库
土壤传感器（文本）	~5 KB	~1.8 GB	时序数据库
作物图像（图片）	~100 MB	~36 TB	对象存储
视频监控	~10 GB	~3.6 PB	冷热分层存储

你看，文本类数据其实不大，清洗起来也快。真正麻烦的是图像和视频——量大、格式杂、质量参差不齐。

1.4 常见数据质量问题概览

好了，终于到重点了。为什么说农业数据“脏”？我总结了六大类问题，你看看你遇到过几个：

1. 缺失值：传感器没电、信号中断、通信故障。最常见，也最好处理。
2. 异常值：比如温度传感器突然报出80℃——大棚里不可能。可能是传感器故障，也可能是被鸟粪糊住了。
3. 重复数据：通信重传机制导致同一条数据上报两次。我见过最夸张的，一条数据重复了17次。
4. 时间戳错乱：传感器本地时钟不准，或者时区没配置对。数据看起来是今天采集的，实际是昨天的。
5. 单位不一致：有的传感器用摄氏度，有的用华氏度；有的用毫米，有的用英寸。合并数据时如果不做归一化，分析结果就是垃圾。
6. 空间漂移：移动式传感器（比如无人机、无人车）的GPS坐标有误差，导致数据挂错了地块。

为了让你更直观地理解这些数据之间的关系，我画了一张图：