变量选择原则与优先级排序:可测性、可调性、业务影响、风险等级

在机器人A/B测试中,候选变量通常远多于可并行实验的变量槽位。变量选择不是简单的技术判断,而是综合权衡可测性、可调性、业务影响和风险等级四维指标的决策过程。本章建立标准化的变量筛选与优先级排序流程,确保每次实验选择最高价值、最低风险的变量组合。

适用场景

  • 机器人行为参数候选集超过单次实验容量(通常 >5 个)时
  • 多团队同时提交变量需求,需要统一排序标准时
  • 实验资源(机器人台数、运行时长、标注预算)受限时
  • 首次进入新场景或新任务,变量空间不明确时

前置条件

  • 已完成候选变量清单的初步收集(参见第3章)
  • 已定义各变量的测量指标及采集方式
  • 已确定本次实验的业务目标(如提升成功率、降低耗时、减少碰撞)
  • 各变量已通过理论可行性审查(无物理/安全冲突)

操作步骤

变量选择遵循四维评估—加权计算—排序输出的三阶段流程。下图为完整的变量优先级评估模型:

变量选择四维优先级评估模型 变量选择四维优先级评估模型 候选变量输入 可测性评估 可调性评估 业务影响评估 风险等级评估 综合优先级矩阵 优先级排序输出 注:权重可根据业务场景动态调整,四维评分采用1-5分制

步骤1:四维评估打分

对每个候选变量在四个维度上分别打分,分值范围为1(最低)到5(最高)。评分标准如下表:

维度 1分(低) 3分(中) 5分(高) 默认权重
可测性 需新增传感器或人工标注 现有日志可间接计算 已有在线指标直接采集 30%
可调性 需停机修改固件 参数服务热加载 运行时无缝调节 25%
业务影响 仅影响边缘case 影响主要场景的次级指标 直接影响核心KPI 35%
风险等级 失败后自动回退无影响 失败后影响单次任务 失败可能导致安全停机 10%
评分校准技巧:在正式开始评估前,选取3个典型变量进行预打分,确保评估团队对1/3/5分的理解一致。可测性与业务影响建议由不同角色独立打分后取均值,减少个人偏差。

步骤2:计算综合优先级分数

使用加权公式计算每个变量的综合优先级分数(CPS):

CPS = M × 0.30 + A × 0.25 + B × 0.35 - R × 0.10

其中:M=可测性得分,A=可调性得分,B=业务影响得分,R=风险等级得分(风险为扣分项)。

示例计算:

变量 "导航避障距离阈值":
M=4, A=5, B=4, R=2
CPS = 4×0.30 + 5×0.25 + 4×0.35 - 2×0.10
     = 1.20 + 1.25 + 1.40 - 0.20
     = 3.65

步骤3:排序与分组

  1. 按CPS分值从高到低对所有候选变量排序
  2. 将变量分为三组:优先组(CPS ≥ 3.5)、备选组(2.5 ≤ CPS < 3.5)、暂缓组(CPS < 2.5)
  3. 优先组变量直接进入实验设计阶段;备选组根据实验槽位剩余情况择优补充
  4. 暂缓组变量记录至变量库,标记"待条件成熟"
分组决策参考:当优先组变量数量超过实验容量时,取CPS最高的N个变量入组,剩余优先变量降为备选。当优先组数量不足时,从备选组按CPS递补,但需额外增加一轮安全评审。

输入输出物

类型 名称 格式/模板 责任人
输入 候选变量清单 变量编号、名称、所属模块、初步描述 实验工程师
输入 变量评估矩阵(待填) 四维评分表 + 权重配置 算法工程师
输出 变量优先级排序表 CPS分值、分组标签、入组结论 实验工程师
输出 变量库更新记录 暂缓变量备注、待办条件 算法工程师

责任边界

  • 实验工程师:组织评估会议,维护评估矩阵,输出排序表,记录暂缓变量
  • 算法工程师:提供可调性评估依据(接口自由度、调节粒度),审核风险等级
  • 业务负责人:定义业务影响权重,确认核心KPI关联度
  • 安全审核员:独立复核风险等级评分,对高风险变量拥有一票否决权
边界注意:可测性评分不能仅依赖理论可行性,必须经过至少一次实际采集验证。业务影响评估不得由算法团队单方面决定,必须由业务负责人签字确认。

记录材料

  1. 变量四维评估表(必需):每个候选变量的M、A、B、R原始评分及评分人签名
  2. 综合优先级矩阵(必需):所有变量的CPS计算过程及排序结果
  3. 变量分组决议(必需):优先组/备选组/暂缓组的划分结论及理由
  4. 评估会议纪要(可选):争议变量讨论过程、权重调整说明
  5. 变量库维护日志(必需):暂缓变量的跟踪条件与预计复审时间

异常处理

异常情形 处理措施 输出调整
某变量可测性数据无法采集 降为1分,标记"待建设采集链路" 暂缓组,列入基础设施 backlog
两个或多个变量高度耦合 评估是否可合并为组合变量,否则保留影响最大的一个 在排序表中标注耦合关系
业务影响评分严重分歧(分差 >2) 组织专题评审会,补充业务数据后再评分 该变量暂时冻结,延至下一评估周期
风险等级为5分(最高风险) 自动触发安全复审流程,安全审核员一票否决 否决的变量移出候选清单
权重与业务目标不匹配 由业务负责人重新设定权重,全体评估人确认 重新计算所有变量CPS

验收标准

  • 所有候选变量已完成四维评估,无遗漏项
  • 评估表中每个维度评分均有明确的评分依据记录
  • CPS计算准确率100%,经双人复核
  • 变量分组结果通过业务负责人和安全审核员联合签批
  • 暂缓变量已录入变量库并设置跟踪条件
  • 评估过程中产生的争议已记录解决方案,可追溯
持续改进:每次实验结束后,回顾变量优先级排序的实际效果—高CPS变量是否真正带来了显著的指标提升?低CPS变量是否存在被低估的情况?将这些经验用于校准下一轮的权重和评分尺度。