变量选择原则与优先级排序:可测性、可调性、业务影响、风险等级
在机器人A/B测试中,候选变量通常远多于可并行实验的变量槽位。变量选择不是简单的技术判断,而是综合权衡可测性、可调性、业务影响和风险等级四维指标的决策过程。本章建立标准化的变量筛选与优先级排序流程,确保每次实验选择最高价值、最低风险的变量组合。
适用场景
- 机器人行为参数候选集超过单次实验容量(通常 >5 个)时
- 多团队同时提交变量需求,需要统一排序标准时
- 实验资源(机器人台数、运行时长、标注预算)受限时
- 首次进入新场景或新任务,变量空间不明确时
前置条件
- 已完成候选变量清单的初步收集(参见第3章)
- 已定义各变量的测量指标及采集方式
- 已确定本次实验的业务目标(如提升成功率、降低耗时、减少碰撞)
- 各变量已通过理论可行性审查(无物理/安全冲突)
操作步骤
变量选择遵循四维评估—加权计算—排序输出的三阶段流程。下图为完整的变量优先级评估模型:
步骤1:四维评估打分
对每个候选变量在四个维度上分别打分,分值范围为1(最低)到5(最高)。评分标准如下表:
| 维度 | 1分(低) | 3分(中) | 5分(高) | 默认权重 |
|---|---|---|---|---|
| 可测性 | 需新增传感器或人工标注 | 现有日志可间接计算 | 已有在线指标直接采集 | 30% |
| 可调性 | 需停机修改固件 | 参数服务热加载 | 运行时无缝调节 | 25% |
| 业务影响 | 仅影响边缘case | 影响主要场景的次级指标 | 直接影响核心KPI | 35% |
| 风险等级 | 失败后自动回退无影响 | 失败后影响单次任务 | 失败可能导致安全停机 | 10% |
评分校准技巧:在正式开始评估前,选取3个典型变量进行预打分,确保评估团队对1/3/5分的理解一致。可测性与业务影响建议由不同角色独立打分后取均值,减少个人偏差。
步骤2:计算综合优先级分数
使用加权公式计算每个变量的综合优先级分数(CPS):
CPS = M × 0.30 + A × 0.25 + B × 0.35 - R × 0.10
其中:M=可测性得分,A=可调性得分,B=业务影响得分,R=风险等级得分(风险为扣分项)。
示例计算:
变量 "导航避障距离阈值":
M=4, A=5, B=4, R=2
CPS = 4×0.30 + 5×0.25 + 4×0.35 - 2×0.10
= 1.20 + 1.25 + 1.40 - 0.20
= 3.65
步骤3:排序与分组
- 按CPS分值从高到低对所有候选变量排序
- 将变量分为三组:优先组(CPS ≥ 3.5)、备选组(2.5 ≤ CPS < 3.5)、暂缓组(CPS < 2.5)
- 优先组变量直接进入实验设计阶段;备选组根据实验槽位剩余情况择优补充
- 暂缓组变量记录至变量库,标记"待条件成熟"
分组决策参考:当优先组变量数量超过实验容量时,取CPS最高的N个变量入组,剩余优先变量降为备选。当优先组数量不足时,从备选组按CPS递补,但需额外增加一轮安全评审。
输入输出物
| 类型 | 名称 | 格式/模板 | 责任人 |
|---|---|---|---|
| 输入 | 候选变量清单 | 变量编号、名称、所属模块、初步描述 | 实验工程师 |
| 输入 | 变量评估矩阵(待填) | 四维评分表 + 权重配置 | 算法工程师 |
| 输出 | 变量优先级排序表 | CPS分值、分组标签、入组结论 | 实验工程师 |
| 输出 | 变量库更新记录 | 暂缓变量备注、待办条件 | 算法工程师 |
责任边界
- 实验工程师:组织评估会议,维护评估矩阵,输出排序表,记录暂缓变量
- 算法工程师:提供可调性评估依据(接口自由度、调节粒度),审核风险等级
- 业务负责人:定义业务影响权重,确认核心KPI关联度
- 安全审核员:独立复核风险等级评分,对高风险变量拥有一票否决权
边界注意:可测性评分不能仅依赖理论可行性,必须经过至少一次实际采集验证。业务影响评估不得由算法团队单方面决定,必须由业务负责人签字确认。
记录材料
- 变量四维评估表(必需):每个候选变量的M、A、B、R原始评分及评分人签名
- 综合优先级矩阵(必需):所有变量的CPS计算过程及排序结果
- 变量分组决议(必需):优先组/备选组/暂缓组的划分结论及理由
- 评估会议纪要(可选):争议变量讨论过程、权重调整说明
- 变量库维护日志(必需):暂缓变量的跟踪条件与预计复审时间
异常处理
| 异常情形 | 处理措施 | 输出调整 |
|---|---|---|
| 某变量可测性数据无法采集 | 降为1分,标记"待建设采集链路" | 暂缓组,列入基础设施 backlog |
| 两个或多个变量高度耦合 | 评估是否可合并为组合变量,否则保留影响最大的一个 | 在排序表中标注耦合关系 |
| 业务影响评分严重分歧(分差 >2) | 组织专题评审会,补充业务数据后再评分 | 该变量暂时冻结,延至下一评估周期 |
| 风险等级为5分(最高风险) | 自动触发安全复审流程,安全审核员一票否决 | 否决的变量移出候选清单 |
| 权重与业务目标不匹配 | 由业务负责人重新设定权重,全体评估人确认 | 重新计算所有变量CPS |
验收标准
- 所有候选变量已完成四维评估,无遗漏项
- 评估表中每个维度评分均有明确的评分依据记录
- CPS计算准确率100%,经双人复核
- 变量分组结果通过业务负责人和安全审核员联合签批
- 暂缓变量已录入变量库并设置跟踪条件
- 评估过程中产生的争议已记录解决方案,可追溯
持续改进:每次实验结束后,回顾变量优先级排序的实际效果—高CPS变量是否真正带来了显著的指标提升?低CPS变量是否存在被低估的情况?将这些经验用于校准下一轮的权重和评分尺度。