4. 评估指标体系构建方法

对地观测任务的效能评估,难点往往不在算法,而在“评什么、怎么量、谁更重要”。指标体系就是把这些判断固定下来的一套结构化约定。本节围绕指标选取原则、层次化分解、量纲统一、权重确定与指标独立性检验五个环节展开,并以一个对地观测任务为例,走完从任务需求到可计算指标体系的完整过程。

一、指标选取:从任务需求反推,而非从数据出发

指标选取应遵循四条原则:完备性(覆盖任务主要效能维度,不遗漏关键能力)、可测性(能用仿真、遥测或解析公式得到数值)、独立性(指标间信息不大量重叠)、可解释性(数值变化能对应到明确的物理或作战含义)。实践中常见的错误是“手里有什么数据就选什么指标”,这会导致体系偏向易测项,而遗漏真正决定任务成败的能力。

正确做法是从任务需求反推。以“区域重访观测”任务为例,其核心需求可拆为:看得见(覆盖能力)、看得清(分辨率与成像质量)、看得及时(响应与重访)、传得回(数传与时效)、用得上(数据可用率与任务成功率)。这五类需求自然对应五个一级指标方向。

二、层次化分解:目标层—准则层—指标层

层次化分解把笼统的“效能”逐级落到可计算量。推荐采用三层结构:目标层(任务综合效能)、准则层(覆盖、成像、时效、传输、可用性)、指标层(具体可测参数)。分解时遵循 MECE 思路:同一父节点下的子指标尽量互斥且合计完整。

以对地观测任务为例,可得到如下示例指标体系(数值为教学假设,非实测):

准则层指标层单位方向示例值
覆盖能力区域覆盖率%越大越好86.5
覆盖能力平均重访间隔h越小越好6.2
成像质量地面分辨率m越小越好1.5
成像质量图像可用率%越大越好92.0
时效性任务响应时延min越小越好45
传输能力数传完成率%越大越好95.0
可用性系统可用度%越大越好98.5

三、量纲统一:归一化与方向一致化

指标单位各异(%、h、m、min),直接加权没有意义,必须先做无量纲化。常用方法有极值归一化、阈值归一化和效用函数法。对“越大越好”型指标,采用:

x' = (x - x_min) / (x_max - x_min)

对“越小越好”型指标(如重访间隔、分辨率、响应时延),采用反向归一化:

x' = (x_max - x) / (x_max - x_min)

其中 x_min、x_max 应来自任务约束或方案集边界,而非随意取值。例如重访间隔若任务要求不超过 12 h,则 x_max 取 12,x_min 取 0,6.2 h 归一化后为 (12−6.2)/12 ≈ 0.483。归一化后所有指标统一为 [0,1] 区间、方向一致(越大越好),才能进入加权合成。

若某指标存在“过犹不及”特性(如分辨率过高导致幅宽下降),应改用分段效用函数而非线性归一化,避免单调假设失真。

四、权重确定:主观与客观结合

权重反映各指标对任务效能的相对贡献。常用方法有三类:AHP 层次分析法(专家判断,适合缺乏数据的早期方案)、熵权法(由数据离散度客观定权)、组合赋权(两者加权融合,兼顾经验与数据)。

AHP 的关键是构造判断矩阵并做一致性检验。以准则层为例,若专家认为“覆盖”比“传输”明显重要,可取标度 5,构造 5×5 判断矩阵,计算最大特征值 λ_max 与一致性比率 CR = CI/RI,要求 CR < 0.1 方可通过。示例计算得 λ_max = 5.12,CI = (5.12−5)/4 = 0.03,查表 RI = 1.12,CR = 0.027 < 0.1,一致性合格。对应权重示例为:覆盖 0.32、成像 0.26、时效 0.20、传输 0.12、可用性 0.10。

熵权法则先计算各指标的信息熵 e_j,再取差异系数 d_j = 1 − e_j,归一化得权重。若某指标在所有方案中取值几乎相同,其熵接近 1、权重趋近 0,说明该指标对方案区分贡献小。组合赋权可取 w_j = α·w_AHP + (1−α)·w_熵,α 通常取 0.5~0.7。

五、指标独立性检验:避免重复计权

若两个指标高度相关(如“区域覆盖率”与“平均重访间隔”在多数方案中同向变化),同时保留会放大某一维度的权重,造成隐性偏置。检验方法包括:计算指标间 Pearson 相关系数矩阵,对 |r| > 0.8 的指标对进行合并或剔除;也可用方差膨胀因子 VIF 判断多重共线性,VIF > 10 提示需处理。

处理策略有三种:合并(用主成分或加权合成一个新指标)、剔除(保留物理意义更清晰者)、保留但降权(在组合赋权中人为压低相关指标权重)。选择依据是任务解释需求:若两个指标分别对应不同决策关注点,宜保留并降权;若本质是同一能力的两种度量,宜合并。

对地观测任务指标体系构建流程 目标层:任务综合效能 覆盖能力 成像质量 时效性 传输能力 可用性 区域覆盖率 (%) 平均重访间隔 (h) 地面分辨率 (m) 图像可用率 (%) 任务响应时延 (min) 数传完成率 (%) 系统可用度 (%) 量纲统一 归一化 + 方向一致化 权重确定 AHP + 熵权组合赋权 独立性检验 相关系数 / VIF 筛查 可计算、可解释的效能评估指标体系

六、构建示例:从需求到可计算体系

综合以上五步,对地观测任务的指标体系构建可归纳为一条可复现路径:先由任务需求确定五个准则方向,再分解出七个指标层参数;对每个指标按任务约束设定 x_min、x_max 并归一化;用 AHP 得到准则层权重(覆盖 0.32、成像 0.26、时效 0.20、传输 0.12、可用性 0.10),用熵权法对指标层做客观修正;最后计算相关系数矩阵,若发现“区域覆盖率”与“平均重访间隔”相关系数达 −0.85,则合并为“覆盖-重访综合指数”或对二者降权处理。

完成后的体系可直接用于方案打分:将各方案指标归一化值按权重加权求和,得到综合效能值。例如某方案归一化后覆盖 0.87、成像 0.92、时效 0.48、传输 0.95、可用性 0.985,按上述权重合成得 0.32×0.87 + 0.26×0.92 + 0.20×0.48 + 0.12×0.95 + 0.10×0.985 ≈ 0.278 + 0.239 + 0.096 + 0.114 + 0.099 = 0.826。该值即可作为方案横向比较的量化依据。

权重与归一化边界一旦确定,应在同一评估轮次内保持一致;若中途调整 x_max 或权重,历史方案得分将不可比,需重新计算全部方案。

指标体系的构建不是一次性工作,而应随任务需求、卫星能力与数据积累迭代更新。建议每轮评估后记录权重变化与独立性检验结果,形成可追溯的体系版本,为后续方案优化提供稳定基准。