30. Reach维度参数化：测试与调优总纲

Reach 是 RICE 模型中评估 Agent “触达范围”的核心维度，直接决定系统能否在目标用户规模、业务场景、数据源和指令复杂度下稳定运行。本章以参数测试型方法系统考核 Reach 的四个子维度，并提供完整的标准化操作流程。

30.1 参数含义与测试目标

30.2 测试条件与前置依赖

• Agent 核心：必须为可部署的最新稳定版本，配置参数完全开放。
• 测试框架：使用 Locust / k6 模拟用户并发；JMeter 用于数据源压力测试。
• 环境隔离：所有测试在独立 staging 环境执行，与生产无数据交叉。
• 监控埋点：Prometheus + Grafana 实时采集 CPU、内存、QPS、错误率。

30.3 标准测量步骤（SOP）

1. 基线确认：单用户、单场景、单数据源、单指令情况下，采集 3 次稳定数据作为基准。
2. 逐项扩参：每次仅增加一个维度的参数值，其余维度保持基线。
3. 压力施加：每个参数梯度持续运行 5 分钟，记录 95 分位响应时间。
4. 边界扫描：当响应时间超过基线 2 倍或错误率 > 1% 时，停止该梯度并标记为临界点。

梯度1: 10    并发用户 · 2场景 · 1数据源 · 5命令类型
梯度2: 50    并发用户 · 2场景 · 1数据源 · 5命令类型
梯度3: 200   并发用户 · 2场景 · 1数据源 · 5命令类型
梯度4: 1000  并发用户 · 2场景 · 1数据源 · 5命令类型
梯度5: 5000  并发用户 · 2场景 · 1数据源 · 5命令类型

30.4 数据判断与误差分析

核心误差公式：

有效触达率 = (成功请求数 - 重试请求数) / 总请求数 × 100%
无效触达率 = (超时请求数 + 异常请求数) / 总请求数 × 100%

30.5 调参策略

• 用户量级不足：增加 Agent 工作线程数、扩缩容水平 Pod。
• 场景切换失败：增大场景上下文最大缓存，或启用懒加载清理。
• 数据源连接超时：调整连接池最大活跃数，开启异步预连。
• 命令解析错误：补全意图模型训练样本，扩展规则模板库。

30.6 验收阈值

30.7 异常处理与责任边界

• Agent 崩溃：立即停止所有梯度，回滚至最后稳定配置，报测试负责人核验。
• 数据源泄露：中断测试并通知 DBA 回收凭证；修改连接字符串。
• 命令执行死循环：配置全局超时熔断（默认 30s），捕获后自动释放资源。
• 责任矩阵：测试团队负责参数设计与数据采集；开发团队负责调优提交；QA 负责验收确认。

30.8 检查表（Checklist）

• □ 基线数据是否采集 3 次以上且波动 < 5%？
• □ 每个维度是否至少覆盖 5 个参数梯度？
• □ 监控工具是否已配置告警阈值（响应时间 > 2000ms / 错误率 > 1%）？
• □ 异常处理熔断机制是否激活？
• □ 验收结果是否生成对比报告并存档？