2. 食品品质数据采集与传感器技术
机器学习模型的上限,往往在数据采集阶段就已经被决定了。食品品质预测之所以比一般表格数据建模更棘手,是因为“品质”本身是一个多维度概念:它可能指内部化学成分(蛋白质、脂肪、水分、糖度),也可能指外观缺陷、气味新鲜度、滋味特征甚至微生物状态。没有任何单一传感器能同时覆盖这些维度,因此实际工程中通常采用“多源异构传感 + 融合建模”的路线。本节围绕近红外光谱、高光谱成像、电子鼻、电子舌和机器视觉五类常用数据源,说明它们各自“测什么、怎么测、输出什么形态的数据”,并给出可落地的采集流程与质量控制要点。
五类常用数据源的能力边界
近红外光谱(NIR)测量的是 780–2500 nm 范围内分子含氢基团(O–H、C–H、N–H)的倍频与合频吸收。它的优势是快速、无损、无需试剂,特别适合水分、蛋白质、脂肪、淀粉等成分的定量预测。典型采集方式是漫反射:光源照射样品,积分球或光纤探头收集反射光,光谱仪输出“波长—吸光度”曲线。需要注意,NIR 得到的是样品整体的平均光谱,空间信息被压缩掉了,因此对表面不均匀的样品(如果皮、颗粒)代表性有限。
高光谱成像(HSI)可以理解为“给图像每个像素都配一条光谱曲线”,输出的是三维数据立方体(两个空间维 + 一个光谱维)。它同时具备 NIR 的化学成分信息与机器视觉的空间分布信息,适合检测表面缺陷、内部瘀伤、异物、成熟度分布等“既要知道是什么、又要知道在哪里”的任务。代价是数据量大、采集慢、标定复杂,通常需要先做黑白板校正,再通过降维或特征波段选择压缩成可用特征。
电子鼻由一组对挥发性气体敏感的气敏传感器阵列构成,输出的是“传感器响应随时间变化”的多维曲线。它并不直接测某种气体浓度,而是形成整体气味指纹,适合新鲜度判别、掺假识别、货架期预测。采集时的关键控制点是顶空平衡:样品在密闭容器中静置一段时间,让挥发物在顶空达到稳定浓度后再进样,否则重复性会很差。
电子舌则针对液体样品,通过味觉传感器阵列(如电位型、伏安型)获取滋味指纹,常用于饮料、酒类、调味品的滋味区分与品质分级。它与电子鼻互补:一个测“闻到的”,一个测“尝到的”。
机器视觉使用工业相机(可见光或近红外波段)获取二维图像,输出颜色、纹理、形状、尺寸等特征,适合分级、缺陷检测、计数。它的强项是空间分辨率和速度,弱项是无法直接反映内部化学成分。
数据采集流程:从样品到可建模数据集
一个规范的采集流程通常包含六个环节,每个环节都有明确的判断依据,而不是“采完就行”。
- 样品设计与分组:先确定样本量和品质梯度覆盖范围。例如预测苹果糖度,应让糖度在目标区间内均匀分布,而不是集中在某一小段;同时预留独立验证集(建议按批次或个体划分,而非随机打散同一样品的多次测量),避免数据泄漏导致指标虚高。
- 样品预处理与状态记录:统一温度、表面清洁度、切割方式。NIR 对温度敏感,样品从冷库取出后应平衡至室温再测;电子鼻需记录顶空平衡时间与容器体积。
- 仪器预热与校准:光谱仪预热 20–30 分钟,采集暗电流与白板参考;高光谱需做黑白板校正;电子鼻/电子舌按厂商规程做基线清洗。
- 重复采集:每个样品在同一条件下采集 3 次,取平均或保留全部用于评估重复性。对 NIR 可旋转样品或更换测点,降低表面不均匀的影响。
- 参考值测定:用化学分析(如凯氏定氮、索氏抽提、折光仪)或感官/理化标准方法获取“真值”,这是监督学习的标签来源,必须与光谱采集在时间上尽量接近。
- 元数据与异常记录:记录样品编号、批次、采集时间、温湿度、操作人、仪器状态;对明显异常(如光谱饱和、传感器漂移、图像过曝)单独标记,不要直接删除,便于后续分析。
质量控制的关键要点
多源数据融合时,最容易出问题的不是模型,而是数据本身。以下要点值得在采集阶段就固化下来:
- 代表性:样品要覆盖真实生产中的品种、产地、季节和品质波动,避免“实验室完美样本”导致模型上线后失效。
- 一致性:同一批实验的采集参数(积分时间、光源强度、相机曝光、顶空时间)必须锁定并写入记录,任何变更都要重新评估。
- 可追溯:每个数据文件都应与样品编号、参考值、采集条件一一对应,建议采用“批次_样品号_传感器_序号”的命名规范。
- 异常识别:光谱看是否有饱和或基线漂移,图像看是否过曝或失焦,电子鼻看响应是否达到稳定平台,电子舌看基线是否回稳。
- 时间对齐:多传感器采集同一批样品时,尽量在同一时间段完成,减少样品自身变化(如氧化、失水)带来的偏差。
把上述流程执行到位,后续的特征工程与建模才有可靠基础。不同传感器输出的数据结构差异很大——曲线、立方体、时间序列、图像——这也决定了融合策略的选择:可以在特征层拼接,也可以在决策层加权。采集阶段留下的元数据和质控记录,正是判断融合是否合理、模型是否可信的重要依据。