2、农业数据基础:掌握农业数据类型、数据来源与采集方式

农业数据可视化的工作起点,不是选择图表工具,而是理解数据本身。农业领域的数据具有多源异构、时空关联、尺度差异大、噪声多的特点。如果对数据类型和采集链路没有清晰认知,后续的图表选型极易出现“有图无义”或“错图误判”的问题。本章将系统梳理农业数据的六大核心类型、主流数据来源与采集方式,并给出数据质量评估与预处理的基本框架,为后续图表选型打下坚实的数据底座。

农业数据全景图:类型 · 来源 · 采集链路 农业数据体系 气象数据 温度/湿度/降水/风速 辐射/蒸散量/极端天气 土壤数据 pH/EC/有机质/氮磷钾 水分/温度/质地/微生物 作物数据 物候期/株高/叶面积指数 病虫害/长势/胁迫指数 产量数据 单产/总产/品质等级 收获损失/含水率 农机数据 轨迹/作业面积/油耗 深松深度/播种粒距 市场数据 价格/供需/库存/物流 批发市场/期货/进出口 数据来源与采集方式 ① 地面传感器(IoT) ② 卫星遥感(多光谱/SAR) ③ 无人机(可见光/热红外) ④ 农机终端(CAN总线/北斗) ⑤ 人工调查/农事记录 ⑥ 公共数据平台 ⑦ 实验室检测 ⑧ 市场交易系统 数据清洗 → 标准化 → 时空对齐 → 可视化

2.1 农业数据六大核心类型

农业数据可视化首先需要明确“你在看什么数据”。不同数据类型决定了图表的坐标轴含义、时间粒度、空间粒度和更新频率。以下六类数据是农业数据可视化的主体内容。

数据类型 典型指标 时间粒度 空间粒度 采集频率 常见图表选型
气象数据 温度、湿度、降水、风速、辐射、蒸散量 分钟~日 站点/网格 高频(分钟级) 折线图、热力图、风玫瑰图
土壤数据 pH、EC、有机质、氮磷钾、水分、温度 日~月 点位/地块 中低频(小时~天) 散点图、等值线图、箱线图
作物数据 物候期、株高、叶面积指数、病虫害等级 周~旬 地块/区域 低频(周/旬) 柱状图、时间轴图、雷达图
产量数据 单产、总产、品质等级、含水率 年/季 地块/县域 极低频(收获期) 柱状图、地图分级、箱线图
农机数据 轨迹、作业面积、油耗、深松深度、播种粒距 秒~分钟 单机/地块 高频(秒级) 轨迹图、热力图、仪表盘
市场数据 价格、供需、库存、物流、期货 日~周 市场/区域 中频(日更新) K线图、折线图、桑基图
核心原理:农业数据的“时空双维”属性是图表选型的根本依据。时间维度决定是否用折线图或时间轴;空间维度决定是否用地图或等值线。例如,土壤水分数据如果只有单点时间序列,用折线图即可;如果覆盖多个地块,则需要用空间插值图。

2.2 数据来源与采集方式详解

理解数据来源有助于判断数据质量、缺失模式和噪声来源。农业数据采集方式可分为地面、空天、机械和人工四大类。

2.2.1 地面传感器网络(IoT)

土壤墒情传感器、气象站、虫情测报灯等设备通过LoRa、NB-IoT、4G/5G等协议回传数据。这类数据精度高、频率高,但覆盖范围有限,且设备维护成本较高。典型采样频率为10分钟~1小时一次。

2.2.2 卫星遥感与无人机

卫星遥感(如Sentinel-2、Landsat、高分系列)提供多光谱影像,可反演NDVI、LAI、土壤含水量等指标,空间分辨率10m~30m,重访周期3~16天。无人机搭载可见光、多光谱或热红外相机,空间分辨率可达厘米级,适合小范围精细监测,但受天气和空域限制。

2.2.3 农机作业终端

现代农机装备有GPS/北斗定位、CAN总线数据接口和作业传感器。播种机记录粒距和播深,收割机记录产量分布和含水率,深松机记录作业深度。这些数据通过车载终端上传至云平台,形成高密度的作业轨迹和农事操作记录。

2.2.4 人工调查与农事记录

物候观测、病虫害调查、产量测产等仍需人工完成。这类数据主观性较强,但包含丰富的管理信息(如施肥时间、品种、灌溉方式),是解释其他数据变化的重要辅助信息。

2.2.5 公共数据平台与市场系统

气象局公开数据、农业农村部统计年鉴、批发市场价格系统、期货交易所数据等,为区域对比和宏观分析提供基础。这类数据口径统一,但时效性相对滞后。

经验提醒:在可视化项目中,建议为每个数据源建立“数据字典”,记录采集设备、单位、精度、时间戳格式、缺失率等信息。这能避免后续图表制作时出现单位混淆或时间对齐错误。

2.3 数据质量评估与预处理流程

农业数据往往存在缺失、异常、重复和时空不对齐等问题。在进入可视化之前,必须完成以下预处理流程。

  1. 缺失值处理:气象站临时故障导致小时数据缺失,可采用线性插值或邻近站点回归填补;土壤数据缺失较多时,考虑空间插值(Kriging、IDW)。
  2. 异常值检测:温度超出物理范围(如-40℃以下)、土壤湿度超过饱和含水量等,需结合领域知识设定阈值,使用3σ原则或箱线图法识别。
  3. 时空对齐:将不同来源的数据统一到相同的时间粒度和空间网格。例如,将卫星反演的土壤水分(10m分辨率)与地面传感器点数据匹配时,需做空间聚合或缓冲分析。
  4. 单位与格式标准化:统一温度单位(℃/℉)、降水单位(mm/inch)、面积单位(亩/公顷)等。
  5. 数据降噪:农机轨迹数据存在漂移点,需使用卡尔曼滤波或滑动平均平滑处理。
风险提示:不要对原始数据直接做可视化。农业数据噪声大,直接绘制会导致图表抖动剧烈、趋势不明。建议先做日/周聚合,再进入图表流程。

2.4 实战场景:智慧农场数据整合与可视化准备

某3000亩智慧农场需要建设一套数据可视化看板,用于管理决策。该农场已部署:5套田间气象站、20个土壤墒情传感器、2台带产量监测的收割机、1台无人机(多光谱),并接入当地批发市场价格API。

初始目标:看板需展示实时气象、土壤墒情、作物长势(NDVI)、收获期产量分布和当日市场价格。

关键输入数据:

  • 气象站:温度、湿度、降水、风速,每10分钟一条,已连续运行2年。
  • 土壤传感器:10cm/30cm/60cm三层水分和温度,每小时一条。
  • 无人机:每两周飞行一次,生成NDVI影像(5cm分辨率)。
  • 收割机:产量传感器每秒记录一次,含GPS坐标和含水率。
  • 市场API:每日玉米、大豆批发价。

分析判断过程:

首先,团队发现气象站有3%的数据缺失(集中在冬季),土壤传感器有2个点位信号漂移。通过线性插值修复气象数据,对漂移点位做校准后保留。其次,无人机NDVI影像与地面作物调查数据结合,验证了长势反演的准确性。产量数据按10m×10m网格聚合,生成产量分布图。最后,将市场价格与本地气象、产量数据关联,发现降雨量与玉米价格的滞后相关性,为看板增加了“天气-价格”联动分析模块。

实际操作步骤:

  1. 清洗气象数据:剔除超出物理范围的记录,按小时聚合。
  2. 土壤数据:对2个异常点位做现场排查,更换传感器后重新校准。
  3. NDVI影像:使用QGIS进行辐射定标和大气校正,计算区域平均NDVI。
  4. 产量数据:去除收割机转弯时的低速无效记录,按网格聚合。
  5. 市场数据:按日平均价格生成时间序列。

结果对比:预处理后的数据在看板上呈现清晰趋势:7月高温少雨导致NDVI下降,8月灌溉后恢复;产量分布图显示东侧地块产量明显高于西侧,经排查为土壤质地差异所致。市场数据与本地气象叠加后,发现连续降雨后一周内叶菜价格平均上涨12%。

风险与代价:数据清洗耗时约2周,占项目总工期的30%。但若跳过清洗直接可视化,错误结论可能导致灌溉决策失误,损失远超清洗成本。

复盘经验:农业数据可视化项目,60%的时间应花在数据准备上。建立自动化的数据质量检查脚本(如缺失率、范围校验)可大幅提升效率。

2.5 常见误区与总结复盘

误区 后果 正确做法
忽视数据时空粒度差异 图表时间轴混乱,空间错位 先统一时间粒度和空间网格
直接使用原始高频数据 折线图噪声大,趋势不可读 按需聚合(小时/日/周)
忽略数据来源标注 图表可信度低,无法追溯 图表下方标注数据源和时间
只关注单一数据源 无法解释异常波动 多源数据交叉验证
未做异常值清洗 极端值拉偏坐标轴 使用箱线图或3σ法识别
总结:农业数据可视化的成败,80%取决于数据基础是否扎实。掌握六大数据类型(气象、土壤、作物、产量、农机、市场)的特征,理解不同采集方式的精度与局限,严格执行“清洗→标准化→时空对齐→聚合”的预处理流程,才能让后续的图表选型真正服务于农业决策。下一阶段,我们将基于这些数据基础,讨论如何根据数据特征和分析目标选择合适的可视化图表类型。