2、农业数据基础:掌握农业数据类型、数据来源与采集方式
农业数据可视化的工作起点,不是选择图表工具,而是理解数据本身。农业领域的数据具有多源异构、时空关联、尺度差异大、噪声多的特点。如果对数据类型和采集链路没有清晰认知,后续的图表选型极易出现“有图无义”或“错图误判”的问题。本章将系统梳理农业数据的六大核心类型、主流数据来源与采集方式,并给出数据质量评估与预处理的基本框架,为后续图表选型打下坚实的数据底座。
2.1 农业数据六大核心类型
农业数据可视化首先需要明确“你在看什么数据”。不同数据类型决定了图表的坐标轴含义、时间粒度、空间粒度和更新频率。以下六类数据是农业数据可视化的主体内容。
| 数据类型 | 典型指标 | 时间粒度 | 空间粒度 | 采集频率 | 常见图表选型 |
|---|---|---|---|---|---|
| 气象数据 | 温度、湿度、降水、风速、辐射、蒸散量 | 分钟~日 | 站点/网格 | 高频(分钟级) | 折线图、热力图、风玫瑰图 |
| 土壤数据 | pH、EC、有机质、氮磷钾、水分、温度 | 日~月 | 点位/地块 | 中低频(小时~天) | 散点图、等值线图、箱线图 |
| 作物数据 | 物候期、株高、叶面积指数、病虫害等级 | 周~旬 | 地块/区域 | 低频(周/旬) | 柱状图、时间轴图、雷达图 |
| 产量数据 | 单产、总产、品质等级、含水率 | 年/季 | 地块/县域 | 极低频(收获期) | 柱状图、地图分级、箱线图 |
| 农机数据 | 轨迹、作业面积、油耗、深松深度、播种粒距 | 秒~分钟 | 单机/地块 | 高频(秒级) | 轨迹图、热力图、仪表盘 |
| 市场数据 | 价格、供需、库存、物流、期货 | 日~周 | 市场/区域 | 中频(日更新) | K线图、折线图、桑基图 |
2.2 数据来源与采集方式详解
理解数据来源有助于判断数据质量、缺失模式和噪声来源。农业数据采集方式可分为地面、空天、机械和人工四大类。
2.2.1 地面传感器网络(IoT)
土壤墒情传感器、气象站、虫情测报灯等设备通过LoRa、NB-IoT、4G/5G等协议回传数据。这类数据精度高、频率高,但覆盖范围有限,且设备维护成本较高。典型采样频率为10分钟~1小时一次。
2.2.2 卫星遥感与无人机
卫星遥感(如Sentinel-2、Landsat、高分系列)提供多光谱影像,可反演NDVI、LAI、土壤含水量等指标,空间分辨率10m~30m,重访周期3~16天。无人机搭载可见光、多光谱或热红外相机,空间分辨率可达厘米级,适合小范围精细监测,但受天气和空域限制。
2.2.3 农机作业终端
现代农机装备有GPS/北斗定位、CAN总线数据接口和作业传感器。播种机记录粒距和播深,收割机记录产量分布和含水率,深松机记录作业深度。这些数据通过车载终端上传至云平台,形成高密度的作业轨迹和农事操作记录。
2.2.4 人工调查与农事记录
物候观测、病虫害调查、产量测产等仍需人工完成。这类数据主观性较强,但包含丰富的管理信息(如施肥时间、品种、灌溉方式),是解释其他数据变化的重要辅助信息。
2.2.5 公共数据平台与市场系统
气象局公开数据、农业农村部统计年鉴、批发市场价格系统、期货交易所数据等,为区域对比和宏观分析提供基础。这类数据口径统一,但时效性相对滞后。
2.3 数据质量评估与预处理流程
农业数据往往存在缺失、异常、重复和时空不对齐等问题。在进入可视化之前,必须完成以下预处理流程。
- 缺失值处理:气象站临时故障导致小时数据缺失,可采用线性插值或邻近站点回归填补;土壤数据缺失较多时,考虑空间插值(Kriging、IDW)。
- 异常值检测:温度超出物理范围(如-40℃以下)、土壤湿度超过饱和含水量等,需结合领域知识设定阈值,使用3σ原则或箱线图法识别。
- 时空对齐:将不同来源的数据统一到相同的时间粒度和空间网格。例如,将卫星反演的土壤水分(10m分辨率)与地面传感器点数据匹配时,需做空间聚合或缓冲分析。
- 单位与格式标准化:统一温度单位(℃/℉)、降水单位(mm/inch)、面积单位(亩/公顷)等。
- 数据降噪:农机轨迹数据存在漂移点,需使用卡尔曼滤波或滑动平均平滑处理。
2.4 实战场景:智慧农场数据整合与可视化准备
某3000亩智慧农场需要建设一套数据可视化看板,用于管理决策。该农场已部署:5套田间气象站、20个土壤墒情传感器、2台带产量监测的收割机、1台无人机(多光谱),并接入当地批发市场价格API。
初始目标:看板需展示实时气象、土壤墒情、作物长势(NDVI)、收获期产量分布和当日市场价格。
关键输入数据:
- 气象站:温度、湿度、降水、风速,每10分钟一条,已连续运行2年。
- 土壤传感器:10cm/30cm/60cm三层水分和温度,每小时一条。
- 无人机:每两周飞行一次,生成NDVI影像(5cm分辨率)。
- 收割机:产量传感器每秒记录一次,含GPS坐标和含水率。
- 市场API:每日玉米、大豆批发价。
分析判断过程:
首先,团队发现气象站有3%的数据缺失(集中在冬季),土壤传感器有2个点位信号漂移。通过线性插值修复气象数据,对漂移点位做校准后保留。其次,无人机NDVI影像与地面作物调查数据结合,验证了长势反演的准确性。产量数据按10m×10m网格聚合,生成产量分布图。最后,将市场价格与本地气象、产量数据关联,发现降雨量与玉米价格的滞后相关性,为看板增加了“天气-价格”联动分析模块。
实际操作步骤:
- 清洗气象数据:剔除超出物理范围的记录,按小时聚合。
- 土壤数据:对2个异常点位做现场排查,更换传感器后重新校准。
- NDVI影像:使用QGIS进行辐射定标和大气校正,计算区域平均NDVI。
- 产量数据:去除收割机转弯时的低速无效记录,按网格聚合。
- 市场数据:按日平均价格生成时间序列。
结果对比:预处理后的数据在看板上呈现清晰趋势:7月高温少雨导致NDVI下降,8月灌溉后恢复;产量分布图显示东侧地块产量明显高于西侧,经排查为土壤质地差异所致。市场数据与本地气象叠加后,发现连续降雨后一周内叶菜价格平均上涨12%。
风险与代价:数据清洗耗时约2周,占项目总工期的30%。但若跳过清洗直接可视化,错误结论可能导致灌溉决策失误,损失远超清洗成本。
复盘经验:农业数据可视化项目,60%的时间应花在数据准备上。建立自动化的数据质量检查脚本(如缺失率、范围校验)可大幅提升效率。
2.5 常见误区与总结复盘
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 忽视数据时空粒度差异 | 图表时间轴混乱,空间错位 | 先统一时间粒度和空间网格 |
| 直接使用原始高频数据 | 折线图噪声大,趋势不可读 | 按需聚合(小时/日/周) |
| 忽略数据来源标注 | 图表可信度低,无法追溯 | 图表下方标注数据源和时间 |
| 只关注单一数据源 | 无法解释异常波动 | 多源数据交叉验证 |
| 未做异常值清洗 | 极端值拉偏坐标轴 | 使用箱线图或3σ法识别 |