第一章 RICE 模型定义：四维参数体系

RICE 是验证 Agent 功能边界的四维参数模型，由 Reach（覆盖范围）、Impact（影响程度）、Confidence（可信度）、Effort（测试成本） 四个正交维度构成。每个维度均为可测量、可调优的参数，用于量化 Agent 在特定场景下的功能边界。

1.1 四维参数含义

1.2 Reach（覆盖范围）量化方法

Reach 通过枚举 Agent 预期处理的输入空间，计算实际已测试的组合占总组合的比例。

• 测试条件：定义输入空间边界（枚举域、模糊域、随机域）。
• 仪器/工具：组合生成器（笛卡尔积工具）、覆盖率聚合脚本。
• 测量步骤：
  1. 列出所有输入参数及其取值集合。
  2. 计算理论总组合数 \(N = \prod_{i=1}^{n} |V_i|\)。
  3. 统计测试套件中实际覆盖的组合数 \(M\)。
  4. 计算 \(R = M / N \times 100\%\)。
• 数据判断：R ≥ 80% 视为充分覆盖；R < 50% 需补充输入边界用例。
• 误差分析：输入空间定义不完整（遗漏参数）或取值粒度过粗（等间距取点）可能导致 R 虚高。
• 调参策略：优先覆盖等价类边界值和特殊值，使用 Pairwise 减少组合数。
• 验收阈值：关键功能域 R ≥ 90%，非关键域 R ≥ 60%。

1.3 Impact（影响程度）评估标准

Impact 衡量当 Agent 在某一功能点出错时，对最终任务目标的损伤程度。

• 评估标准：0.0 = 无影响（不影响任务完成）；0.5 = 部分影响（需人工干预补救）；1.0 = 致命影响（任务失败或系统崩溃）。
• 测试条件：在 Agent 任务链中插入故障注入，观察任务成功率下降比例。
• 仪器/工具：故障注入框架（如 Chaos Engineering 工具）、任务成功率统计器。
• 测量步骤：
  1. 确定任务链关键节点。
  2. 逐个注入错误，记录任务成功率从基准值 \(P_0\) 降至 \(P_i\)。
  3. 计算 \(I = \frac{P_0 - P_i}{P_0}\)，上限钳位至 1.0。
• 误差分析：故障注入方式与真实 Agent 错误行为不一致会导致 I 偏差。
• 调参策略：对于 I ≥ 0.7 的高影响节点，应增加冗余校验或 Fallback 逻辑。
• 验收阈值：单节点 I ≤ 0.3，全链路加权平均 I ≤ 0.15。

1.4 Confidence（可信度）判定原则

Confidence 反映测试结果的稳定的可再现程度。

• 判定原则：相同条件下重复测试 ≥3 次，计算结果变异系数 \(CV = \sigma / \mu\)，若 CV ≤ 0.1 则计 C=90，若 CV > 0.3 计 C<60。
• 测试条件：固定种子、固定环境、固定输入顺序。
• 仪器/工具：自动化测试执行框架 + 方差计算模块。
• 测量步骤：
  1. 设置随机种子和环境变量为固定值。
  2. 执行 N 次完整测试（N ≥ 3），记录每次结果。
  3. 计算均值 μ 和标准差 σ，再计算 CV。
  4. 映射为 C（0-100）分数。
• 误差分析：非确定性 Agent（如 LLM 温度参数 >0）会导致 C 降低，需先固定采样温度。
• 调参策略：若 C < 70，增大采样次数 N 或降低 Agent 随机性参数。
• 验收阈值：C ≥ 85 方可采纳该测试数据。

1.5 Effort（测试成本）计算方式

Effort 综合人力、算力、时间三种资源的等效货币成本或工时。

• 计算方式：\(E = \alpha \cdot H + \beta \cdot T\)，其中 H=人时，T=算力分钟，α=人力单价，β=算力单价。
• 测试条件：记录测试各阶段耗时和资源使用量。
• 仪器/工具：计时工具、云平台计费报表、工单系统。
• 测量步骤：
  1. 分解测试流程为准备、执行、分析三个子阶段。
  2. 记录各阶段人时和算力分钟。
  3. 换算为 E（单位统一为元）。
• 误差分析：并行测试可能导致算力分钟重复计算，需按独占资源时间计。
• 调参策略：若 E 超出预算，优先减少低 R 域测试用例或降低重复次数。
• 验收阈值：单轮测试 E ≤ 计划预算的 110%，超过则需裁剪用例。

1.6 RICE 四维关系图

以下内联 SVG 展示 RICE 四个维度及其对 Agent 功能边界的联合定义关系。

1.7 验收阈值汇总表

1.8 标准操作步骤（SOP 辅形态）

1. 责任边界：测试工程师负责 R 和 E 测量；质量架构师负责 I 和 C 的判定。
2. 检查表：
   • ☐ 输入空间是否已穷举或 Pairwise 简化？
   • ☐ 故障注入是否覆盖所有任务链节点？
   • ☐ 测试随机种子是否固定？
   • ☐ 资源成本是否按独占时间计算？
3. 异常处理：若某维度测量结果落在异常处理条件内，立即暂停该域测试，填写异常报告并提交至技术评审会。

# RICE 初始测量脚本示例（Python 伪代码）
def measure_rice(agent, test_suite, budget):
    r = compute_reach(test_suite.covered_cases, test_suite.total_cases)
    i = compute_impact(agent, fault_injector, baseline_success_rate)
    c = compute_confidence(test_results_repeated, n=3)
    e = compute_effort(hours=12, gpu_minutes=480, alpha=50, beta=2)
    return {'R': r, 'I': i, 'C': c, 'E': e}