4. 声源识别任务定义与性能指标
被动声呐的声源识别并不是一个单一动作,而是一条由浅入深的任务链。工程上通常把它拆成三个层次:检测(有没有目标)、分类(属于哪一大类,如商船、军舰、潜艇、生物噪声)、辨识(具体是哪一型、哪一艘,或哪一工作状态)。三者对输入数据、特征粒度和评价指标的要求逐级提高,混淆它们会导致指标虚高或验收失败。本节围绕任务定义、混淆矩阵、ROC 曲线以及识别率与虚警率等指标展开,说明如何把“识别得好不好”变成可测量、可比较的工程结论。
一、三层任务的定义与边界
检测任务的输出是二值判决:某时间—频率单元或某段波束数据中是否存在目标。它只关心“有/无”,不区分目标类型。分类任务在检测为“有”的前提下,把目标归入若干互斥类别,例如按吨位与线谱结构分为“大型低速商船”“中小型高速艇”“螺旋桨空化明显的军用目标”等。辨识任务则进一步在类别内部做细粒度判别,往往需要结合叶片数、轴频、谐波族间隔、调制周期等稳定特征。
需要强调,三层任务的样本集不能混用。检测的正样本是“任意目标”,负样本是纯海洋环境噪声与干扰;分类的正负样本按类别重新划分;辨识则要求每一类都有足够多的独立样本,否则指标没有统计意义。实际项目中常见错误是用分类模型直接评估检测性能,导致虚警率被类别不平衡掩盖。
二、混淆矩阵:把错误看清楚
对于多类分类与辨识任务,混淆矩阵是最基础的评估工具。以三类任务为例,行表示真实类别,列表示判决类别,对角线为正确判决数,非对角线元素揭示“谁被误判成谁”。设真实为 A、B、C 三类,某测试集共 300 个样本,得到如下示例(数据为教学假设):
| 真实\判决 | A 类 | B 类 | C 类 | 合计 |
|---|---|---|---|---|
| A 类 | 85 | 10 | 5 | 100 |
| B 类 | 8 | 72 | 20 | 100 |
| C 类 | 3 | 15 | 82 | 100 |
从矩阵可直接读出:总体识别率为 (85+72+82)/300 = 79.7%;A 类召回率 85%,B 类 72%,C 类 82%。B 类有 20 个被误判为 C 类,说明两类在所选特征空间上重叠严重,应优先检查特征(如线谱间隔、调制深度)是否区分度不足,而不是盲目增加训练轮数。混淆矩阵的价值正在于把“总准确率”拆解为可定位的错误结构。
三、ROC 曲线与判决门限
检测与二分类任务中,模型通常输出一个连续得分(如匹配滤波峰值、似然比、神经网络置信度),最终判决依赖门限。门限移动会同时改变检测概率 Pd 与虚警概率 Pfa。以 Pfa 为横轴、Pd 为纵轴,逐点扫描门限即得 ROC 曲线。曲线越靠近左上角,说明在相同虚警水平下检测能力越强;曲线下面积 AUC 可作为一个与门限无关的综合指标,AUC=0.5 相当于随机猜测。
工程上不能只看 AUC,还要结合任务约束选门限。例如警戒任务要求 Pfa 低于 10-3 每帧,就应在 ROC 曲线上读取该虚警率对应的 Pd,并据此判断是否满足指标。下图给出本节任务链与评价指标之间的关系示意:
四、识别率与虚警率的正确计算
识别率通常指正确判决样本数占参与评估样本总数的比例,但必须说明分母口径:是全部样本,还是仅检测为“有目标”的样本。前者称为端到端识别率,后者称为条件识别率。虚警率则有两种常见定义:一是虚警数占负样本数的比例(Pfa),二是单位时间内的虚警次数(如次/小时)。两者不可混用,报告中应写明。
以检测任务为例,设测试集含 1000 帧,其中真实目标 200 帧、纯噪声 800 帧。某门限下判决结果:目标帧中正确检出 170 帧,噪声帧中误报 40 帧。则 Pd=170/200=85%,Pfa=40/800=5%。若系统每秒处理 10 帧,则虚警约为 0.5 次/秒,即 1800 次/小时,这个数字对值班人员而言显然不可接受,说明门限需要上调。这正是把比例型虚警率换算为时间型虚警率的意义。
五、实操中的评估流程建议
一个可复现的评估流程大致如下:先按航次或日期划分训练集与测试集,避免同一段录音的相邻帧同时进入两侧造成泄漏;再对检测层扫描门限,绘制 ROC 并锁定满足虚警约束的工作点;随后在检测通过的样本上评估分类与辨识的混淆矩阵;最后把三层指标汇总为一张验收表,注明样本量、门限、虚警定义与测试条件(海况、距离、目标类型分布)。只有把任务定义与指标口径同时写清楚,声源识别系统的性能结论才具备可比性和工程可信度。