📚 课程目录第3章农业数据治理

3. 农业数据治理：从脏数据到干净数据

数据治理这事儿，说白了就是给农业大脑「洗菜」。你想想看，地里传感器传回来的数据，什么土壤湿度、光照强度、虫情照片……五花八门，质量参差不齐。我见过太多项目，算法模型调得再好，数据一塌糊涂，最后全白搭。

这一章，我们就聊聊怎么把这些「脏数据」收拾干净。我个人习惯把数据治理分成五个步骤：清洗去重、缺失值处理、异常值检测、标准化与归一化。每一步都有坑，咱们一个一个踩过去。

  核心观点： 数据治理不是一次性工作，而是贯穿农业大脑全生命周期的持续过程。你投入在数据治理上的每一分钟，都会在模型精度和决策可靠性上得到回报。

3.1 数据清洗与去重

数据清洗，我习惯把它叫做「扫雷」。农业数据来源太杂了——传感器、无人机、人工录入、气象站……每个来源都有自己的「脾气」。比如同一个田块，GPS坐标可能因为设备精度不同，出现多个「孪生兄弟」。

我记得有一次做水稻项目，同一个传感器在5分钟内上报了3条完全一样的数据。后来一查，是网关程序出了bug，数据重复推送。这种重复数据如果不处理，模型训练时相当于给某些样本「加权重」，结果可想而知。

我的经验： 去重不能只看「完全重复」。农业数据里经常出现「语义重复」——比如两条记录时间差1秒、数值差0.01，这种在物理意义上就是重复。我一般会设一个时间窗口（比如30秒）和数值容差（比如0.5%），窗口内的相似记录直接合并。

清洗的另一个重点是格式统一。温度单位有的是摄氏度，有的是华氏度；湿度有的是百分比，有的是小数。我建议在数据接入层就做一次「格式标准化」，别等到分析时再手忙脚乱。

# 数据清洗与去重示例（Python）
import pandas as pd
import numpy as np

# 加载原始数据
df = pd.read_csv('sensor_data.csv')

# 1. 完全去重
df_clean = df.drop_duplicates()

# 2. 基于时间窗口的语义去重
df_clean = df_clean.sort_values('timestamp')
df_clean['time_diff'] = df_clean['timestamp'].diff().dt.total_seconds()
df_clean['value_diff'] = abs(df_clean['value'] - df_clean['value'].shift(1)) / df_clean['value'].shift(1)

# 标记重复：30秒内且数值变化小于0.5%
df_clean['is_duplicate'] = (df_clean['time_diff'] < 30) & (df_clean['value_diff'] < 0.005)
df_clean = df_clean[~df_clean['is_duplicate']]

# 3. 格式标准化：统一温度单位为摄氏度
def standardize_temperature(row):
    if row['unit'] == 'F':
        return (row['value'] - 32) * 5/9
    return row['value']

df_clean['temperature_c'] = df_clean.apply(standardize_temperature, axis=1)

3.2 缺失值处理

农业数据缺失太常见了。传感器没电、信号中断、存储故障……原因五花八门。我见过最夸张的一次，一个土壤湿度传感器连续72小时没上报数据，后来发现是被老鼠咬断了线。

处理缺失值，核心就三个策略：删除、填充、插值。怎么选？看场景。

策略	适用场景	风险
直接删除	缺失比例 < 5%，且随机缺失	样本量减少，可能引入偏差
均值/中位数填充	数值型数据，缺失比例 5%-20%	降低数据方差，影响模型灵敏度
前向/后向填充	时间序列数据，短期缺失	假设数据变化缓慢，可能不准确
线性插值	时间序列数据，趋势明显	对突变点处理效果差
模型预测填充	缺失比例高（>20%），有相关特征	计算成本高，可能过拟合

避坑指南： 我曾经在一个温室项目中，直接用全局均值填充了30%的缺失值。结果模型训练出来，对极端天气的预测完全失效。后来才发现，均值填充把数据「拉平」了，模型根本学不到极端情况下的规律。对于农业数据，我建议优先用时间序列插值，实在不行再用均值填充。

# 缺失值处理示例
from sklearn.impute import SimpleImputer
import pandas as pd

# 加载数据
df = pd.read_csv('soil_data.csv')

# 查看缺失情况
print(df.isnull().sum())

# 策略1：删除缺失比例超过50%的列
df = df.dropna(thresh=len(df) * 0.5, axis=1)

# 策略2：时间序列数据用前向填充
df['soil_moisture'] = df['soil_moisture'].fillna(method='ffill')

# 策略3：数值型特征用中位数填充（抗异常值）
imputer = SimpleImputer(strategy='median')
df[['temperature', 'humidity']] = imputer.fit_transform(df[['temperature', 'humidity']])

3.3 异常值检测

异常值，说白了就是「不按套路出牌」的数据点。农业数据里的异常值特别有意思——有时候是传感器故障，有时候是真实事件（比如突然的霜冻、虫害爆发）。怎么区分？得结合业务场景。

我个人常用的方法有三种：

Z-Score方法： 假设数据服从正态分布，Z-Score绝对值大于3的视为异常。适合数据量大、分布稳定的场景。
IQR方法： 四分位距法，超出Q1-1.5*IQR或Q3+1.5*IQR的为异常。不依赖正态分布假设，更鲁棒。
领域规则： 比如土壤温度不可能超过80°C，光照强度不可能为负。这种硬性规则最可靠。

我记得有一次做果园项目，一个温度传感器连续3天报出-15°C的数据。按统计方法，这肯定是异常值。但后来实地排查发现，那个传感器安装在了冷空气汇聚的低洼处，-15°C是真实值！所以，异常值检测一定要结合业务验证，不能一刀切。

# 异常值检测示例
import numpy as np
from scipy import stats

# 方法1：Z-Score
z_scores = np.abs(stats.zscore(df['temperature']))
df['is_outlier_z'] = z_scores > 3

# 方法2：IQR方法
Q1 = df['humidity'].quantile(0.25)
Q3 = df['humidity'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
df['is_outlier_iqr'] = (df['humidity'] < lower_bound) | (df['humidity'] > upper_bound)

# 方法3：领域规则
df['is_outlier_domain'] = (df['soil_temperature'] < -10) | (df['soil_temperature'] > 60)

# 综合判断：至少两种方法标记才视为异常
df['final_outlier'] = (df['is_outlier_z'].astype(int) + 
                       df['is_outlier_iqr'].astype(int) + 
                       df['is_outlier_domain'].astype(int)) >= 2

3.4 数据标准化与归一化

这一步，很多人容易搞混。标准化和归一化，到底用哪个？

简单说：归一化是把数据缩放到[0,1]区间，适合数据分布有明确边界的情况（比如土壤湿度0%-100%）。标准化是把数据变成均值为0、标准差为1的分布，适合数据分布未知或存在异常值的情况。

我个人的选择原则：

如果后续算法基于距离（如KNN、SVM），优先标准化
如果数据本身有物理边界（如百分比、角度），优先归一化
如果数据分布严重偏态，先做对数变换，再标准化

一个小技巧： 农业数据里经常有多个传感器量纲不同——温度是几十度，湿度是百分之几，光照是几万勒克斯。如果不做标准化，光照这个特征在模型里的权重会天然「碾压」其他特征。我建议所有数值型特征都做标准化，除非你有充分的业务理由保留原始尺度。

# 标准化与归一化示例
from sklearn.preprocessing import StandardScaler, MinMaxScaler
import pandas as pd

# 加载数据
df = pd.read_csv('sensor_data_clean.csv')

# 选择数值型特征
numeric_cols = ['temperature', 'humidity', 'soil_moisture', 'light_intensity']

# 标准化（Z-Score）
scaler_std = StandardScaler()
df_standardized = df.copy()
df_standardized[numeric_cols] = scaler_std.fit_transform(df[numeric_cols])

# 归一化（Min-Max）
scaler_minmax = MinMaxScaler()
df_normalized = df.copy()
df_normalized[numeric_cols] = scaler_minmax.fit_transform(df[numeric_cols])

# 查看效果
print("标准化后均值：", df_standardized[numeric_cols].mean().round(2))
print("归一化后范围：", df_normalized[numeric_cols].min().round(2), "-", df_normalized[numeric_cols].max().round(2))

嗯，到这里，数据治理的核心步骤就讲完了。你可能会问：这些步骤的顺序重要吗？我个人觉得，清洗去重应该最先做，然后是缺失值处理，接着是异常值检测，最后才是标准化。为什么？因为标准化会改变数据的分布，如果先标准化再做异常值检测，原始数据的物理意义就丢了。

农业数据治理，说到底就是「尊重数据、敬畏业务」。别把数据当成冷冰冰的数字，它们背后是每一寸土地、每一株作物的真实状态。数据干净了，农业大脑才能做出靠谱的决策。