第3章 RICE验证框架总览:四维评分矩阵、权重确定、阈值设定、报告结构
3.1 框架概述
RICE 验证框架是面向 Agent 功能边界测试的可量化参数体系,由 可靠性(Reliability)、完整性(Integrity)strong>、一致性(Consistency) 和 效率(Efficiency) 四个核心维度构成。每个维度对应一组可测参数,通过四维评分矩阵完成单维度打分,再经权重确定计算综合得分,最后与验收阈值对比,输出标准化验证报告。
本章从参数测试型视角拆解框架的四大模块:每个模块均有明确的参数含义、测试条件、测量方法及调参策略,为后续章节的逐维深测奠定基础。
参数测试型视角:RICE 框架的每个模块都抽象为一组可配置参数。四维评分矩阵定义“测什么”,权重确定定义“怎么加权”,阈值设定定义“判据”,报告结构定义“如何呈现”。四者串联形成闭环验证链路。
3.2 四维评分矩阵:参数定义与测量
四维评分矩阵是 RICE 框架的测量核心,每个维度包含参数代码、参数含义、测试条件、测量工具/仪器、测量步骤、数据判断、误差分析、调参策略和验收阈值。下表给出各维度的关键参数概览,后文各章将逐维展开。
| 维度 | 参数代码 | 参数含义 | 测试条件 | 测量工具 | 典型阈值 |
|---|---|---|---|---|---|
| 可靠性 | REL |
任务成功率 / 错误率 | N 次独立对话任务 | Agent 任务日志 + 断言脚本 | 成功率 ≥ 95%,错误率 ≤ 2% |
| 完整性 | INT |
数据完整率 / 字段缺失率 | 结构化输入输出场景 | Schema 校验器 + 差分工具 | 完整率 100%,缺失率 0% |
| 一致性 | CON |
行为一致率 / 输出偏差 | 同场景重复调用 ≥ 10 次 | 比对引擎 + 统计脚本 | 一致率 ≥ 98%,偏差 ≤ 1% |
| 效率 | EFF |
平均响应时间 / 资源占用率 | 峰值负载与常态负载 | 性能监控工具(如 cAdvisor、JMeter) | 响应 ≤ 2 s,资源占用 ≤ 30% |
参数