3、主观评价体系：MOS评分、ABX测试、双盲测试的设计与实施

图像质量调优做到最后，你会发现一个尴尬的事实——客观指标再漂亮，用户不买账就是白搭。我见过太多项目，PSNR 高了 2 个 dB，结果用户反馈「还不如之前」。为什么？因为人眼不是算法。

主观评价，说白了就是让真人来看、来打分。这是调优的最终裁判。今天咱们就把 MOS、ABX、双盲测试这三板斧聊透。

3.1 MOS 评分：最经典的主观量化方法

MOS（Mean Opinion Score）是 ITU-T P.800 标准定义的方法。操作很简单：找一批人，让他们看图像，然后打分。分数范围通常是 1-5 分：

但这里有个坑——不同人的打分标准不一样。有人觉得 4 分才算及格，有人觉得 3 分就挺好。所以 MOS 测试需要足够多的样本量，一般建议至少 15-20 人，专业评测甚至要 40 人以上。

实施步骤其实不复杂：

1. 准备素材——选取有代表性的测试图像，覆盖不同场景、不同复杂度
2. 设计界面——单张显示，打分按钮清晰，支持回看
3. 招募评测者——非专业人员即可，但要保证视力正常
4. 执行测试——每张图展示 5-10 秒，然后打分
5. 数据清洗——剔除明显乱打的样本（比如所有图都打 5 分）
6. 计算均值——去掉最高最低各 5%，再取平均

3.2 ABX 测试：两两对比见真章

MOS 有个问题——它依赖判断。但人眼其实更擅长做相对比较。ABX 测试就是利用这个特点。

ABX 的逻辑很简单：给你看 A 和 B 两张图，再给你看 X（X 是 A 或 B 中的一张），你判断 X 是 A 还是 B。如果评测者能稳定区分出 A 和 B，说明两者的差异是「可感知」的。

我经常用 ABX 来验证算法改进是否真的有效。举个例子：

ABX 测试的设计要点：

• 随机化顺序——A/B 的左右位置要随机，避免位置偏好
• 控制时长——每张图展示 3-5 秒，切换间隔 0.5 秒
• 允许重看——但限制重看次数，一般不超过 3 次
• 统计显著性——用二项分布检验，p < 0.05 才算有显著差异

3.3 双盲测试：消除一切偏见

双盲测试是主观评价的「金标准」。它要求：评测者不知道自己在看哪个版本，实验组织者也不知道哪个版本对应哪个算法。

为什么要这么严格？因为偏见无处不在。我见过一个案例：评测者知道 A 是「新算法」后，潜意识里就会倾向于给 A 打高分。双盲就是为了杜绝这种心理暗示。

双盲测试的实施流程：

1. 编码——第三方给每个版本分配随机编号（比如 3A7F、8B2C）
2. 封装——实验组织者只看到编号，不知道对应关系
3. 展示——评测者看到的是随机顺序的编号图像
4. 评分——评测者按 MOS 或 ABX 方式打分
5. 解码——数据收集完成后，第三方揭晓对应关系

双盲测试的代价是组织成本高，但数据可靠性也最高。我一般在算法最终评审阶段才用双盲，平时用 ABX 就够了。

3.4 三种方法的对比与选择

我个人习惯这样搭配：日常调参用 ABX，快速验证；周报评审用 MOS，量化展示；项目结项用双盲，一锤定音。

3.5 主观评价的常见陷阱

做了这么多年主观评价，踩过的坑不少。挑几个典型的说说：

• 评测者疲劳——超过 30 分钟，注意力就会下降。我一般控制在 20 分钟内
• 显示器差异——同一张图在不同显示器上效果天差地别。必须统一校准
• 环境光线——太亮或太暗都会影响判断。建议 300-500 lux 的室内光
• 样本偏差——只选「好看」的图，结果没有代表性。要覆盖暗光、过曝、纹理复杂等场景

3.6 主观评价与客观指标的关系

很多人问：主观评价能不能替代客观指标？我的答案是——不能，但必须结合。

客观指标（PSNR、SSIM、LPIPS 等）提供的是「可复现的量化结果」，主观评价提供的是「真实的用户体验」。两者是互补关系，不是替代关系。

我见过最理想的做法是：先用客观指标做粗筛，筛选出 Top 3-5 个候选方案，再用主观评价做最终决策。这样既保证了效率，又保证了效果。

嗯，主观评价体系就聊到这儿。记住一句话：客观指标告诉你「差了多少」，主观评价告诉你「差得值不值得」。两者缺一不可。