质量评估指标体系

做数据标注质量审核，说白了就是要能「算账」。光凭感觉说“这批标注还行”是不行的——你得拿出数字来。我最早带团队时，也踩过这个坑：看了一些样本觉得不错，结果模型训练出来崩得一塌糊涂。后来我养成了习惯，先把几个核心指标跑一遍，哪有问题一眼就揪出来了。

这一章咱们就把这套指标体系拆开揉碎，从最基础的准确率，到专业场景才用的 Kappa 系数和 MAE，挨个过一遍。每个指标我都结合当年碰到的实际案例讲，希望能帮你省点试错的时间。

准确率（Accuracy）——最直观，也最容易被骗

准确率就是“预测对的 / 总样本数”。公式很简单：

Accuracy = (TP + TN) / (TP + TN + FP + FN)

其中 TP 是真正例，TN 是真负例，FP 是假正例，FN 是假负例。

什么时候用？ 类别分布均衡的时候。比如二分类，正负样本各占一半，准确率能很好反映整体表现。

坑在哪里？ 类别严重不均衡时，准确率会骗人。举个例子：我做过一个医疗影像标注项目，正常图片占 95%，病变只占 5%。如果模型把所有图片都标成“正常”，准确率高达 95%，但模型就是个废物。所以遇到不均衡数据，千万别只盯着准确率。

精确率（Precision）与召回率（Recall）——两个角度看质量

这两个指标就像一枚硬币的两面，缺一个都不完整。

• 精确率 = TP / (TP + FP) —— 你标注出来的“正例”里，有多少是真的正例？说白了就是“不准冤枉好人”。
• 召回率 = TP / (TP + FN) —— 真正的正例里，你找出了多少？说白了就是“不能放过坏人”。

我习惯把精确率理解为“质量”，召回率理解为“数量或覆盖面”。标注时，如果标注员习惯保守，宁愿漏标也不愿标错，精确率会高、召回率会低；反之，标注员比较激进，啥都敢标，召回率会高、精确率会低。

具体怎么取舍？看业务场景：

场景	优先指标	原因
金融欺诈检测	精确率	误伤一个正常客户代价很高
疫情排查	召回率	漏掉一个疑似病例后果严重
新闻分类	两者均衡	误判和漏判影响差不多

F1 分数——精确率和召回率的调和平均

既要精确率又要召回率，但两者往往此消彼长，怎么办？那就用 F1 分数把它们揉成一个值。

F1 = 2 * (Precision * Recall) / (Precision + Recall)

F1 最大值 1，最小值 0。数值越高，说明两个指标都很棒。如果某个指标特别差，F1 会被拉低。

我在做文本实体标注质检时，经常用 F1 来综合评估标注员的表现。举个例子：标注员 A 精确率 0.95，召回率 0.6，F1=0.73；标注员 B 精确率 0.85，召回率 0.85，F1=0.85。明显 B 更靠谱，虽然 A 的精确率更高，但漏标太多了。F1 把这层关系直接体现出来了。

一致性系数（Cohen's Kappa）——看人，也要看运气

Kappa 系数是用来衡量两个标注员（或标注员与标准答案）之间的一致性，而且它能排除掉“瞎蒙”的成分。公式稍微复杂一点：

Kappa = (Po - Pe) / (1 - Pe)

Po = 观察一致率（标注员一致的比例）
Pe = 期望一致率（随机情况下一致的概率）

Pe 的计算需要对类别分布做统计，我通常直接用 Python 的 sklearn.metrics.cohen_kappa_score 算。但理解原理更重要。

Kappa 的取值范围：

• < 0：一致性比随机还差（几乎不可能，但确实发生过，我碰到过一次是因为标注指南写反了）
• 0 ~ 0.2：一致性极低
• 0.2 ~ 0.4：较低
• 0.4 ~ 0.6：中等
• 0.6 ~ 0.8：较高
• 0.8 ~ 1.0：几乎完全一致

为什么要用 Kappa？ 你想想看，如果两个类别的比例是 90% 和 10%，两个标注员都一直标成多数类，他们的准确率是 90%，但实际并没有有效区分。Kappa 会把这个“运气一致性”扣掉，所以比单纯的准确率更可靠。

平均绝对误差（MAE）——连续值标注的硬指标

上面几个指标都是针对分类任务的。如果标注的是连续值，比如价格、长度、年龄、分数，用 MAE 最直接。

MAE = (1/n) * Σ |yi - ŷi|

其中 yi 是真实值，ŷi 是标注值。MAE 的单位和原数据一致，比如价格误差是 5 元，那 MAE=5。

我偏爱 MAE，因为它对异常值不那么敏感，容易解释。你和业务方说“平均误差 5 块钱”，对方马上能理解。而均方误差（MSE）因为做了平方，数值会被放大，不是那么直观。

这张图大概说明了选择指标的思路。你想想看，如果一上来所有指标都算一遍，其实没必要——知道任务类型和数据分布，挑两三个核心的就行。我个人的套路是：分类任务先算准确率和 Kappa，如果类别不均衡再加 F1；连续值任务首推 MAE，再手动抽查几个高误差样本做第二遍复审。