4. 主观评测方法:主观评测标准、双盲测试流程与常见缺陷识别

客观数据再漂亮,最终也是给人看的。我见过不少项目,实验室数据跑得飞起,一给客户演示就被打回来。为什么?因为人眼不是传感器,我们感知到的“好”和“坏”,跟SNR、MTF这些指标有时候并不完全一致。

主观评测,说白了就是让人来看。但“人看”这件事,如果不加控制,结果就是公说公有理、婆说婆有理。所以我们需要一套标准化的方法,让主观评价变得可重复、可比较。

4.1 主观评测标准:ITU-R BT.500

做主观评测,绕不开ITU-R BT.500。这个标准最早是为电视图像质量制定的,但它的方法论,现在被广泛用在手机、相机、安防等各个领域。

BT.500的核心是“双刺激连续质量量表法”,也就是DSIS(Double Stimulus Impairment Scale)。简单说,就是给评测者看两个画面:一个是原始参考,一个是待测画面。评测者需要给待测画面的“损伤程度”打分。

评分等级 损伤描述 对应质量
5 不可察觉 优秀
4 可察觉,但不令人讨厌 良好
3 轻微令人讨厌 一般
2 令人讨厌 较差
1 非常令人讨厌 极差

我个人习惯在瑞芯微平台上做调优时,会把BT.500的5分制再细化一下。比如在3分和4分之间,我会加一个3.5分,用来区分“轻微讨厌但还能接受”和“有点烦但不算严重”。

我的经验: 评分标准一定要在评测开始前,让所有评测者一起校准。找几张典型的图,大家一起打一遍分,把标准对齐。否则,有的人觉得“轻微讨厌”是3分,有的人觉得是2分,数据就没法用了。

4.2 双盲测试流程设计

主观评测最大的敌人是什么?是偏见。评测者如果知道哪个是竞品、哪个是我们的方案,潜意识里就会偏向自己人。所以,双盲测试是必须的。

双盲测试的流程,我建议按下面几步走:

  1. 样本准备: 把待测图像和参考图像随机编号。编号规则只有一个人知道,这个人不参与评测。
  2. 环境控制: 显示器要校准到D65标准光源,环境照度控制在15-20 lux。我见过有人在办公室日光灯下做评测,结果偏色问题根本看不出来。
  3. 评测者筛选: 至少需要15-20人。要有专业的图像工程师,也要有非专业的普通用户。专业的人容易看出细节问题,普通用户代表最终体验。
  4. 展示方式: 每对图像展示10秒,然后有5秒的投票时间。展示顺序要随机打乱,避免“审美疲劳”效应。
  5. 数据清洗: 评测结束后,要剔除异常数据。比如有人所有图都打5分,或者所有图都打1分,这种数据要扔掉。
注意: 我曾经在一个项目里,因为评测者数量不够(只有5个人),结果数据方差极大,完全没法下结论。后来补了15个人,数据才稳定下来。所以,人数一定要够,别偷懒。

下面这张图,是我自己总结的双盲测试流程,你可以参考一下:

双盲测试流程 样本准备与编号 环境校准与设备设置 评测者培训与校准 双盲评分与数据采集 数据清洗与统计分析

4.3 常见主观缺陷识别

主观评测时,我们到底在看什么?说白了,就是找茬。但找茬也要有章法。我总结了三个最常见的缺陷类型:噪声、偏色、过曝。这三个问题,几乎覆盖了90%的客户投诉。

4.3.1 噪声

噪声不是“有没有”的问题,而是“能不能忍”的问题。在暗光场景下,噪声是不可避免的。但好的降噪算法,能把噪声控制在“颗粒感”的范围内,而不是“雪花点”。

评测噪声时,我建议关注以下几点:

  • 平坦区域: 比如天空、墙壁。这里噪声最明显。
  • 边缘区域: 降噪算法容易把边缘也抹掉,造成“油画感”。
  • 色彩噪声: 红绿蓝的彩色噪点,比亮度噪点更让人讨厌。
避坑指南: 我曾经调一个项目,降噪强度拉满,客观指标SNR涨了3dB,但主观上画面糊得像油画。后来把降噪强度降了20%,噪声稍微多了一点,但纹理保住了,客户反而说好。所以,别只看指标,要相信自己的眼睛。

4.3.2 偏色

偏色是主观评测里最容易引起争议的问题。因为不同人对颜色的敏感度不一样。有的人觉得偏蓝,有的人觉得偏绿。

评测偏色时,我习惯用“灰卡法”:在场景里放一张标准灰卡,然后看灰卡在画面里的RGB值是否接近。如果R、G、B三个通道的均值偏差超过5%,那偏色就比较明显了。

常见的偏色场景:

  • 室内暖光: AWB容易偏黄。
  • 户外阴天: AWB容易偏蓝。
  • 混合光源: 比如室内既有日光灯又有白炽灯,AWB很容易翻车。

4.3.3 过曝

过曝是动态范围不足的直接表现。高光区域一片死白,细节全丢。这种问题在逆光场景下尤其常见。

评测过曝时,我关注两个点:

  1. 高光细节保留: 比如云层的纹理、白色衣服的褶皱。
  2. 过渡自然度: 从正常曝光到过曝区域,是平滑过渡还是突然“切掉”。
我的习惯: 在瑞芯微平台上调HDR时,我会把“高光阈值”这个参数反复调。阈值设高了,高光细节保住了,但暗部噪声会放大;阈值设低了,暗部干净了,但高光又过曝了。这个平衡点,只能靠主观评测来找。

下面这个表格,是我自己整理的主观缺陷快速诊断表,你可以保存下来,评测时对照着看:

缺陷类型 典型场景 主观表现 常见原因
噪声 暗光、夜景 画面粗糙、颗粒感 增益过高、降噪不足
偏色 混合光源、复杂色温 肤色异常、白平衡偏移 AWB算法失效
过曝 逆光、强光源 高光死白、细节丢失 动态范围不足、HDR参数不当
欠曝 暗光、背光 画面昏暗、暗部细节丢失 曝光补偿不足、增益过低
伪影 运动场景、边缘 振铃、鬼影、马赛克 锐化过度、压缩算法缺陷

嗯,主观评测这件事,说到底就是“用眼睛投票”。但要让这个投票结果有说服力,就必须把流程标准化、数据化。BT.500给了我们框架,双盲测试排除了偏见,而识别常见缺陷则是基本功。这三样东西,缺一不可。