2. 混淆矩阵的数学本质与指标语义

在遥感分类精度评价中,混淆矩阵(Confusion Matrix)是所有定量指标的计算母体。它把“分类结果好不好”这个模糊问题,转化为一张可逐格核对的二维计数表:行代表真实类别(参考数据),列代表预测类别(分类结果),第 i 行第 j 列的元素 nij 表示“真实为第 i 类、却被分为第 j 类”的像元数。对角线元素 nii 是分类正确的像元,非对角线元素则是各类错分与漏分的具体来源。理解这一点非常关键:混淆矩阵不是一张“成绩单”,而是一张“错误分布图”,它同时记录了正确率和错误去向。

设共有 k 个类别,总样本数为 N,则行和 ni+ 为第 i 类的真实样本总数,列和 n+j 为被分为第 j 类的样本总数。基于这些量,可以定义四个核心指标。

总体精度 OA = Σnii / N,即对角线之和除以总样本数,反映“所有像元中分对的比例”。它直观、易比较,但对类别不平衡敏感:若某类占绝对多数,即使小类全错,OA 仍可能很高。

生产者精度 PA(第 i 类)= nii / ni+,分母是该类的真实样本数,回答“真实属于第 i 类的像元,有多少被正确找出来”,本质是漏分(漏检)的度量,也称召回率。

用户精度 UA(第 j 类)= njj / n+j,分母是被判为第 j 类的样本数,回答“被分为第 j 类的像元,有多少是真的”,本质是错分(虚警)的度量,也称查准率。

Kappa 系数 = (N·Σnii − Σni+·n+i) / (N2 − Σni+·n+i),它扣除了“随机猜测也能碰对”的那部分一致性,衡量分类结果比随机分配好多少。

下面用一组教学示例数据说明计算过程。假设研究区有水体、植被、建设用地三类,每类抽取 100 个验证样本,共 N = 300。经与分类图叠加核对,得到如下混淆矩阵(示例数据,用于演示算法,非实测结果):

真实 \ 预测水体植被建设用地行和
水体8884100
植被68212100
建设用地31582100
列和9710598300

据此计算:OA = (88+82+82)/300 = 252/300 = 84.0%。水体 PA = 88/100 = 88.0%,UA = 88/97 ≈ 90.7%;植被 PA = 82/100 = 82.0%,UA = 82/105 ≈ 78.1%;建设用地 PA = 82/100 = 82.0%,UA = 82/98 ≈ 83.7%。Kappa 计算中,Σni+n+i = 100×97 + 100×105 + 100×98 = 30000,代入得 Kappa = (300×252 − 30000)/(300² − 30000) = (75600 − 30000)/(90000 − 30000) = 45600/60000 = 0.76。

混淆矩阵结构与指标语义(示例:N=300) 水体 植被 建设 行和 水体 植被 建设 100 水体 植被 建设 100 水体 植被 建设 100 88 82 82 8 4 6 12 3 15 行和 = 真实样本数(PA 分母) 列和 = 预测样本数(UA 分母) 对角线 = 正确分类数 总体精度 OA = 252/300 = 84.0% 对角线之和 ÷ 总样本数,整体正确率 生产者精度 PA:水体 88% / 植被 82% / 建设 82% 对角线 ÷ 行和,度量漏分(召回率) 用户精度 UA:水体 90.7% / 植被 78.1% / 建设 83.7% 对角线 ÷ 列和,度量错分(查准率) Kappa = 0.76 扣除随机一致性后的净一致性 植被 UA 仅 78.1%:被判为植被的 105 个样本中有 23 个实为其他类,说明“植被”标签存在虚警; 而植被 PA 为 82%,说明真实植被中约 18% 被漏分。PA 与 UA 一低一高,指向不同的误差方向。

从这组数字可以读出指标的分工。植被的 PA 为 82%、UA 仅 78.1%,说明“真实植被漏掉约 18%”,同时“被判为植被的样本里混入了约 22% 的非植被”,两个方向都存在问题,但 UA 更低意味着虚警更突出——回看矩阵,植被列中来自建设用地的 15 个样本是主要污染源,这提示植被与建设用地的光谱可分性不足。相反,水体的 PA 88%、UA 90.7% 均较高,是三类中最可靠的类别。可见 PA 与 UA 必须成对阅读:只看 PA 会忽略虚警,只看 UA 会忽略漏分。

Kappa 的语义需要单独强调。OA = 84% 看似不错,但若三类样本比例均衡、随机猜测的期望一致率约为 1/3,则 Kappa = 0.76 表示分类结果比随机分配提升了约 76% 的“净一致性”。Kappa 的取值大致可参考:小于 0.4 为一致性较差,0.4~0.6 为中等,0.6~0.8 为较好,0.8 以上为很好。但要注意,Kappa 对类别比例和样本量敏感,在类别极不平衡时可能给出偏乐观或偏保守的结论,因此它应与 OA、PA、UA 联合使用,而不能单独作为验收依据。

实践要点:在 ENVI 中通过 Confusion Matrix Using Ground Truth ROIs 生成矩阵后,务必同时查看 OA、Kappa、各类 PA/UA 以及矩阵原始计数。若某类 PA 高而 UA 低,优先排查该类是否“吞并”了邻近类别;若 PA 低而 UA 高,则排查该类是否被其他类别大量吸收。指标异常时回到矩阵定位具体错分格,比反复调参更有效。

最后需要明确各指标的适用侧重:OA 适合快速横向比较不同分类方案的整体水平,但不宜用于类别不均衡场景的单独结论;PA 面向“真实地物被找全的程度”,适用于关注漏检的业务(如违建排查、水体提取);UA 面向“图上标签的可信度”,适用于关注制图产品可靠性的场景(如面积统计、专题制图);Kappa 则用于衡量分类结果相对随机分配的增益,常作为论文与验收报告中的一致性指标。四者互为补充,共同构成对分类质量的完整刻画。