第3章 RICE验证框架总览:四维评分矩阵、权重确定、阈值设定、报告结构

3.1 框架概述

RICE 验证框架是面向 Agent 功能边界测试的可量化参数体系,由 可靠性(Reliability)、完整性(Integrity)strong>、一致性(Consistency) 和 效率(Efficiency) 四个核心维度构成。每个维度对应一组可测参数,通过四维评分矩阵完成单维度打分,再经权重确定计算综合得分,最后与验收阈值对比,输出标准化验证报告。

本章从参数测试型视角拆解框架的四大模块:每个模块均有明确的参数含义、测试条件、测量方法及调参策略,为后续章节的逐维深测奠定基础。

参数测试型视角:RICE 框架的每个模块都抽象为一组可配置参数。四维评分矩阵定义“测什么”,权重确定定义“怎么加权”,阈值设定定义“判据”,报告结构定义“如何呈现”。四者串联形成闭环验证链路。
RICE 验证框架总览 可靠性 Reliability 任务成功率 ≥ 95% 错误率 ≤ 2% 完整性 Integrity 数据完整率 100% 字段缺失率 0% 一致性 Consistency 行为一致率 ≥ 98% 输出偏差 ≤ 1% 效率 Efficiency 平均响应 ≤ 2 s 资源占用 ≤ 30% 权重确定 Weight Assignment 根据验证场景为四维分配权重(W₁~W₄) 阈值设定 Threshold Setting 综合评分 S = Σ(Wᵢ × Dᵢ) ≥ 验收阈值 T 报告结构 Report Structure 输出标准化验证报告(含四维评分、权重、综合得分、结论) 评估 → 加权 → 判定 → 报告:四模块形成闭环验证链路,每个环节参数可配、可测、可调

3.2 四维评分矩阵:参数定义与测量

四维评分矩阵是 RICE 框架的测量核心,每个维度包含参数代码、参数含义、测试条件、测量工具/仪器、测量步骤、数据判断、误差分析、调参策略和验收阈值。下表给出各维度的关键参数概览,后文各章将逐维展开。

维度 参数代码 参数含义 测试条件 测量工具 典型阈值
可靠性 REL 任务成功率 / 错误率 N 次独立对话任务 Agent 任务日志 + 断言脚本 成功率 ≥ 95%,错误率 ≤ 2%
完整性 INT 数据完整率 / 字段缺失率 结构化输入输出场景 Schema 校验器 + 差分工具 完整率 100%,缺失率 0%
一致性 CON 行为一致率 / 输出偏差 同场景重复调用 ≥ 10 次 比对引擎 + 统计脚本 一致率 ≥ 98%,偏差 ≤ 1%
效率 EFF 平均响应时间 / 资源占用率 峰值负载与常态负载 性能监控工具(如 cAdvisor、JMeter) 响应 ≤ 2 s,资源占用 ≤ 30%
参数