2. 食品品质数据采集与传感器技术

机器学习模型的上限,往往在数据采集阶段就已经被决定了。食品品质预测之所以比一般表格数据建模更棘手,是因为“品质”本身是一个多维度概念:它可能指内部化学成分(蛋白质、脂肪、水分、糖度),也可能指外观缺陷、气味新鲜度、滋味特征甚至微生物状态。没有任何单一传感器能同时覆盖这些维度,因此实际工程中通常采用“多源异构传感 + 融合建模”的路线。本节围绕近红外光谱、高光谱成像、电子鼻、电子舌和机器视觉五类常用数据源,说明它们各自“测什么、怎么测、输出什么形态的数据”,并给出可落地的采集流程与质量控制要点。

五类常用数据源的能力边界

近红外光谱(NIR)测量的是 780–2500 nm 范围内分子含氢基团(O–H、C–H、N–H)的倍频与合频吸收。它的优势是快速、无损、无需试剂,特别适合水分、蛋白质、脂肪、淀粉等成分的定量预测。典型采集方式是漫反射:光源照射样品,积分球或光纤探头收集反射光,光谱仪输出“波长—吸光度”曲线。需要注意,NIR 得到的是样品整体的平均光谱,空间信息被压缩掉了,因此对表面不均匀的样品(如果皮、颗粒)代表性有限。

高光谱成像(HSI)可以理解为“给图像每个像素都配一条光谱曲线”,输出的是三维数据立方体(两个空间维 + 一个光谱维)。它同时具备 NIR 的化学成分信息与机器视觉的空间分布信息,适合检测表面缺陷、内部瘀伤、异物、成熟度分布等“既要知道是什么、又要知道在哪里”的任务。代价是数据量大、采集慢、标定复杂,通常需要先做黑白板校正,再通过降维或特征波段选择压缩成可用特征。

电子鼻由一组对挥发性气体敏感的气敏传感器阵列构成,输出的是“传感器响应随时间变化”的多维曲线。它并不直接测某种气体浓度,而是形成整体气味指纹,适合新鲜度判别、掺假识别、货架期预测。采集时的关键控制点是顶空平衡:样品在密闭容器中静置一段时间,让挥发物在顶空达到稳定浓度后再进样,否则重复性会很差。

电子舌则针对液体样品,通过味觉传感器阵列(如电位型、伏安型)获取滋味指纹,常用于饮料、酒类、调味品的滋味区分与品质分级。它与电子鼻互补:一个测“闻到的”,一个测“尝到的”。

机器视觉使用工业相机(可见光或近红外波段)获取二维图像,输出颜色、纹理、形状、尺寸等特征,适合分级、缺陷检测、计数。它的强项是空间分辨率和速度,弱项是无法直接反映内部化学成分。

食品品质多源传感采集与融合建模 待测样品 固体/液体/颗粒 统一预处理 近红外光谱 NIR 输出:波长—吸光度曲线 测:水分/蛋白/脂肪 高光谱成像 HSI 输出:空间×光谱数据立方体 测:缺陷/瘀伤/成熟度分布 电子鼻 输出:传感器阵列响应曲线 测:气味指纹/新鲜度 电子舌 输出:味觉传感器电位/电流 测:滋味指纹/分级 机器视觉 输出:二维图像/颜色纹理特征 测:外观/尺寸/缺陷 特征级融合 光谱特征 + 图像特征 + 气味/滋味指纹 标准化 → 降维 → 拼接 输入回归/分类模型 品质预测输出 成分含量 / 等级 / 新鲜度 缺陷位置 / 货架期 质控贯穿全程:样品代表性 → 环境温湿度 → 仪器校准 → 重复采集 → 异常剔除 → 元数据记录

数据采集流程:从样品到可建模数据集

一个规范的采集流程通常包含六个环节,每个环节都有明确的判断依据,而不是“采完就行”。

  1. 样品设计与分组:先确定样本量和品质梯度覆盖范围。例如预测苹果糖度,应让糖度在目标区间内均匀分布,而不是集中在某一小段;同时预留独立验证集(建议按批次或个体划分,而非随机打散同一样品的多次测量),避免数据泄漏导致指标虚高。
  2. 样品预处理与状态记录:统一温度、表面清洁度、切割方式。NIR 对温度敏感,样品从冷库取出后应平衡至室温再测;电子鼻需记录顶空平衡时间与容器体积。
  3. 仪器预热与校准:光谱仪预热 20–30 分钟,采集暗电流与白板参考;高光谱需做黑白板校正;电子鼻/电子舌按厂商规程做基线清洗。
  4. 重复采集:每个样品在同一条件下采集 3 次,取平均或保留全部用于评估重复性。对 NIR 可旋转样品或更换测点,降低表面不均匀的影响。
  5. 参考值测定:用化学分析(如凯氏定氮、索氏抽提、折光仪)或感官/理化标准方法获取“真值”,这是监督学习的标签来源,必须与光谱采集在时间上尽量接近。
  6. 元数据与异常记录:记录样品编号、批次、采集时间、温湿度、操作人、仪器状态;对明显异常(如光谱饱和、传感器漂移、图像过曝)单独标记,不要直接删除,便于后续分析。

质量控制的关键要点

多源数据融合时,最容易出问题的不是模型,而是数据本身。以下要点值得在采集阶段就固化下来:

  • 代表性:样品要覆盖真实生产中的品种、产地、季节和品质波动,避免“实验室完美样本”导致模型上线后失效。
  • 一致性:同一批实验的采集参数(积分时间、光源强度、相机曝光、顶空时间)必须锁定并写入记录,任何变更都要重新评估。
  • 可追溯:每个数据文件都应与样品编号、参考值、采集条件一一对应,建议采用“批次_样品号_传感器_序号”的命名规范。
  • 异常识别:光谱看是否有饱和或基线漂移,图像看是否过曝或失焦,电子鼻看响应是否达到稳定平台,电子舌看基线是否回稳。
  • 时间对齐:多传感器采集同一批样品时,尽量在同一时间段完成,减少样品自身变化(如氧化、失水)带来的偏差。
教学示例:假设采集 120 个番茄样品,NIR 设置积分时间 8 ms、平均 32 次扫描,每个样品测 3 个位置;高光谱在 400–1000 nm、5 nm 间隔下采集并做黑白板校正;电子鼻顶空平衡 15 分钟。参考值用折光仪测可溶性固形物。最终按批次划分训练集 90 个、验证集 30 个。以上参数仅为示例,实际应通过预实验确定。
常见误区:把同一样品的多次测量随机分到训练集和验证集,会造成“同源泄漏”,验证指标看起来很好但泛化能力差;另外,忽略参考值测定与光谱采集的时间差,也会让标签与特征错位。

把上述流程执行到位,后续的特征工程与建模才有可靠基础。不同传感器输出的数据结构差异很大——曲线、立方体、时间序列、图像——这也决定了融合策略的选择:可以在特征层拼接,也可以在决策层加权。采集阶段留下的元数据和质控记录,正是判断融合是否合理、模型是否可信的重要依据。