4. 声源识别任务定义与性能指标

被动声呐的声源识别并不是一个单一动作,而是一条由浅入深的任务链。工程上通常把它拆成三个层次:检测(有没有目标)、分类(属于哪一大类,如商船、军舰、潜艇、生物噪声)、辨识(具体是哪一型、哪一艘,或哪一工作状态)。三者对输入数据、特征粒度和评价指标的要求逐级提高,混淆它们会导致指标虚高或验收失败。本节围绕任务定义、混淆矩阵、ROC 曲线以及识别率与虚警率等指标展开,说明如何把“识别得好不好”变成可测量、可比较的工程结论。

一、三层任务的定义与边界

检测任务的输出是二值判决:某时间—频率单元或某段波束数据中是否存在目标。它只关心“有/无”,不区分目标类型。分类任务在检测为“有”的前提下,把目标归入若干互斥类别,例如按吨位与线谱结构分为“大型低速商船”“中小型高速艇”“螺旋桨空化明显的军用目标”等。辨识任务则进一步在类别内部做细粒度判别,往往需要结合叶片数、轴频、谐波族间隔、调制周期等稳定特征。

需要强调,三层任务的样本集不能混用。检测的正样本是“任意目标”,负样本是纯海洋环境噪声与干扰;分类的正负样本按类别重新划分;辨识则要求每一类都有足够多的独立样本,否则指标没有统计意义。实际项目中常见错误是用分类模型直接评估检测性能,导致虚警率被类别不平衡掩盖。

二、混淆矩阵:把错误看清楚

对于多类分类与辨识任务,混淆矩阵是最基础的评估工具。以三类任务为例,行表示真实类别,列表示判决类别,对角线为正确判决数,非对角线元素揭示“谁被误判成谁”。设真实为 A、B、C 三类,某测试集共 300 个样本,得到如下示例(数据为教学假设):

真实\判决A 类B 类C 类合计
A 类85105100
B 类87220100
C 类31582100

从矩阵可直接读出:总体识别率为 (85+72+82)/300 = 79.7%;A 类召回率 85%,B 类 72%,C 类 82%。B 类有 20 个被误判为 C 类,说明两类在所选特征空间上重叠严重,应优先检查特征(如线谱间隔、调制深度)是否区分度不足,而不是盲目增加训练轮数。混淆矩阵的价值正在于把“总准确率”拆解为可定位的错误结构。

三、ROC 曲线与判决门限

检测与二分类任务中,模型通常输出一个连续得分(如匹配滤波峰值、似然比、神经网络置信度),最终判决依赖门限。门限移动会同时改变检测概率 Pd 与虚警概率 Pfa。以 Pfa 为横轴、Pd 为纵轴,逐点扫描门限即得 ROC 曲线。曲线越靠近左上角,说明在相同虚警水平下检测能力越强;曲线下面积 AUC 可作为一个与门限无关的综合指标,AUC=0.5 相当于随机猜测。

工程上不能只看 AUC,还要结合任务约束选门限。例如警戒任务要求 Pfa 低于 10-3 每帧,就应在 ROC 曲线上读取该虚警率对应的 Pd,并据此判断是否满足指标。下图给出本节任务链与评价指标之间的关系示意:

声源识别任务链与性能指标关系 检测 有 / 无目标 分类 商船 / 军舰 / 生物 辨识 具体型号 / 状态 检测指标 P_d 检测概率 P_fa 虚警概率 ROC 曲线 / AUC 分类指标 混淆矩阵 各类召回率 / 精确率 总体识别率 辨识指标 细粒度混淆矩阵 Top-1 / Top-3 命中率 误辨识代价分析 指标使用要点: ① 检测看 ROC 与指定虚警率下的 P_d;② 分类看混淆矩阵定位易混类别;③ 辨识需独立测试集,防止同船同航次样本泄漏。 ④ 识别率与虚警率必须成对报告,单报准确率会掩盖类别不平衡与门限选择问题。

四、识别率与虚警率的正确计算

识别率通常指正确判决样本数占参与评估样本总数的比例,但必须说明分母口径:是全部样本,还是仅检测为“有目标”的样本。前者称为端到端识别率,后者称为条件识别率。虚警率则有两种常见定义:一是虚警数占负样本数的比例(Pfa),二是单位时间内的虚警次数(如次/小时)。两者不可混用,报告中应写明。

以检测任务为例,设测试集含 1000 帧,其中真实目标 200 帧、纯噪声 800 帧。某门限下判决结果:目标帧中正确检出 170 帧,噪声帧中误报 40 帧。则 Pd=170/200=85%,Pfa=40/800=5%。若系统每秒处理 10 帧,则虚警约为 0.5 次/秒,即 1800 次/小时,这个数字对值班人员而言显然不可接受,说明门限需要上调。这正是把比例型虚警率换算为时间型虚警率的意义。

评估时应固定测试集与门限选择规则,并报告置信区间。样本量较小时(如每类不足 30 个),识别率的波动可达数个百分点,不宜据此做型号定型结论。

五、实操中的评估流程建议

一个可复现的评估流程大致如下:先按航次或日期划分训练集与测试集,避免同一段录音的相邻帧同时进入两侧造成泄漏;再对检测层扫描门限,绘制 ROC 并锁定满足虚警约束的工作点;随后在检测通过的样本上评估分类与辨识的混淆矩阵;最后把三层指标汇总为一张验收表,注明样本量、门限、虚警定义与测试条件(海况、距离、目标类型分布)。只有把任务定义与指标口径同时写清楚,声源识别系统的性能结论才具备可比性和工程可信度。