1. 课程导入与农业视觉数据质量全景
农业视觉数据集是训练作物病害识别、果实计数、杂草检测、畜牧行为监测等模型的基础生产资料。与通用计算机视觉数据集相比,农业场景的数据采集环境更开放、对象变化更剧烈,数据质量问题往往在模型上线后才集中暴露。本课程的目标不是单纯讲“标注工具怎么用”,而是建立一套从采集、标注、审核到版本管理的质量闭环,使数据集的每一项指标都能被定义、被测量、被追溯。
农业视觉数据集的五个典型特点
理解质量问题的前提,是先看清农业数据的特殊性。第一是多模态:同一块田可能同时存在可见光RGB图像、多光谱或近红外影像、热成像,以及无人机正射图与地面近景图,不同模态的分辨率、坐标系和成像机理差异很大。第二是季节变化:同一株果树在花期、幼果期、成熟期的外观几乎判若两物,若训练集只覆盖单一物候期,模型跨季节泛化会明显下降。第三是光照差异:正午强光、阴天散射光、逆光、补光夜间拍摄会造成同一病斑呈现不同颜色与纹理。第四是遮挡:叶片相互遮挡、果实被枝叶半遮、牲畜群体重叠,导致目标边界不完整。第五是细粒度类别:不同病害在早期可能只表现为叶面少量斑点,类别间差异极小,对标注一致性的要求远高于粗粒度分类任务。
质量管理的定义与五个维度
农业视觉数据质量管理,是指在数据全生命周期中对数据的准确性、完整性、一致性、时效性、代表性进行定义、度量、监控与改进的活动集合。它不是一次性的清洗,而是贯穿采集设计、标注、审核、版本发布的持续过程。
准确性关注标签与真实对象是否一致,例如病斑框是否贴合、类别是否判对;可用抽样复核的错误率衡量。完整性关注类别、场景、模态是否缺失,例如是否缺少阴雨天的样本、是否遗漏了某种病害的早期阶段。一致性关注不同标注员、不同批次之间是否遵循同一规范,例如“病斑面积占比超过多少算重度”必须有明确阈值。时效性关注数据是否覆盖关键物候窗口,过期的数据无法反映当前品种与栽培方式。代表性关注数据分布是否贴近真实生产分布,若训练集全是温室高清近景,部署到田间无人机影像上就会失效。
典型应用场景对质量维度的不同侧重
不同任务对质量维度的敏感度不同。作物病害检测最依赖准确性与一致性,因为细粒度类别间差异小,标注口径不统一会直接引入标签噪声;果实计数最依赖完整性与代表性,遮挡与密度分布必须覆盖真实果园;杂草识别强调时效性,因为杂草与作物在苗期形态接近,错过窗口期数据价值骤降;畜牧监测则更关注多模态与遮挡条件下的准确性,夜间红外与白天可见光需成对采集。
质量失败案例剖析
假设某团队构建番茄叶片病害数据集用于田间部署,训练集准确率达到96%,但上线后误检率偏高。复盘发现三个问题:其一,采集集中在晴天上午的温室近景,缺少阴天与逆光样本,属于代表性不足;其二,两名标注员对“早期斑点”是否计入病害类别判断不一致,复核发现约8%的样本存在口径分歧,属于一致性缺陷;其三,数据仅覆盖坐果期,未包含苗期,属于时效性缺口。改进措施是:制定带示例图的标注规范并做双人交叉复核,按物候期与光照条件分层补采,并在发布前用分层抽样统计各类别占比是否接近田间实际分布。