2. 单参数调试环境搭建：测试数据集选择、估算基准建立、参数隔离方法

2.1 参数含义与环境搭建目标

在单参数调试中，环境搭建的核心目标是建立一个可重复、可控制的实验框架，使得每一次参数调整的效果都能被独立观测和量化。本章节涉及的三个关键要素分别为：

• 测试数据集选择：选取具有代表性、覆盖典型工作负载的历史项目数据，作为参数调试的输入。
• 估算基准建立：确定一个固定的、无偏差的参考估算模型，用于对比参数调整前后的效果。
• 参数隔离方法：通过仪器/工具和实验设计，确保每次只改变一个参数，消除多参数耦合干扰。

2.2 测试条件与仪器/工具

本课程推荐的测试环境配置如下表所示：

2.3 测试数据集选择与估算基准建立

2.3.1 测试数据集选择原则

1. 代表性：数据集应覆盖项目类型、团队规模、复杂度梯度、历史估算偏差范围。
2. 干净性：剔除明显异常或数据不完整的项目记录（如缺失工期、成本等关键字段）。
3. 大小适中：一般选取 30~200 个历史项目条目，保证统计显著性同时避免过拟合。
4. 分割明确：将数据集划分为调试集（用于参数训练）和验证集（用于最终效果评估）。

2.3.2 估算基准建立方法

基准估算模型通常采用一种标准估算函数，例如基于线性回归的COCOMO II校准模型，或基于历史中位数的类比估算模型。建立过程如下：

1. 使用调试集数据运行默认参数（或行业标准参数），得到一组初始估算值。
2. 计算基准误差指标：MRE (Magnitude of Relative Error)、MdMRE (Median MRE)、Pred(25)。
3. 将上述指标记为 Baseline_Error，作为后续所有参数调试的对比参照。

以下是一个基准建立过程的Python脚本示例：

import json
import numpy as np

def load_dataset(filepath):
    with open(filepath, 'r') as f:
        data = json.load(f)
    return data['train'], data['test']

def calculate_mre(actual, estimated):
    return abs(float(actual) - float(estimated)) / float(actual)

def compute_baseline(train_data, model_func):
    errors = []
    for item in train_data:
        est = model_func(item['size'], item['complexity'], params='default')
        mre = calculate_mre(item['actual_effort'], est)
        errors.append(mre)
    md_mre = np.median(errors)
    pred25 = np.mean([e <= 0.25 for e in errors]) * 100
    return {'mdmre': md_mre, 'pred25': pred25, 'count': len(errors)}

baseline = compute_baseline(train_set, default_model)
print(f"Baseline MdMRE: {baseline['mdmre']:.3f}, Pred(25): {baseline['pred25']:.1f}%")

2.4 参数隔离方法与流程

参数隔离的核心是确保在单次实验中，仅有一个参数相对于基准发生改变。实现隔离的典型步骤如下：

2.4.1 参数隔离矩阵设计

建立一张参数与实验序号的对照矩阵，明确每次实验所调整的参数及调整值：

2.4.2 实验脚本与参数注入

使用参数化配置文件来控制每次实验的输入，避免手动修改代码：

# experiment_scale_factor_1.1.yaml
experiment:
  id: "exp_02"
  target_param: "scale_factor"
  value: 1.1
  baseline_params:
    scale_factor: 1.0
    complexity_weight: 1.0
    risk_premium: 0.05
  dataset_split: "train_2024_v2"
  output_dir: "./results/exp_02"

2.4.3 环境隔离与验证

每次实验前自动执行验证脚本，确保除目标参数外所有条件一致：

def verify_isolation(exp_config):
    # 检查参数注入器是否只修改了目标参数
    baseline = load_params("baseline_params.yaml")
    injected = load_params(exp_config['target_param'], exp_config['value'])
    diff = compare_params(baseline, injected)
    if len(diff) > 1:
        raise IsolationError(f"参数隔离失败，发现{len(diff)}处差异: {diff}")
    # 检查数据集版本是否一致
    if not dataset_checksum(exp_config['dataset_split']) == "a1b2c3d4":
        raise DatasetVersionError("数据集版本不匹配")
    print("隔离验证通过。")

2.5 测量步骤

1. 准备阶段： 训练集与验证集分离，建立基准模型并记录基线误差。
2. 参数注入： 使用参数化配置文件加载本次实验的单一参数变更。
3. 环境校验： 执行隔离验证脚本，确保仅目标参数被修改。
4. 估算执行： 在调试集上运行模型，记录每次估算值与实际值。
5. 误差计算： 计算MRE、MdMRE、Pred(25)等指标。
6. 数据归档： 将实验配置、环境快照、误差指标写入结构化日志（JSON Lines格式）。

结果记录示例（JSON Lines格式）：

{"exp_id": "exp_02", "param": "scale_factor", "value": 1.1, "mdmre": 0.312, "pred25": 58.0, "timestamp": "2025-02-18T10:23:15Z", "dataset_version": "v2.1"}
{"exp_id": "exp_03", "param": "scale_factor", "value": 0.9, "mdmre": 0.287, "pred25": 62.0, "timestamp": "2025-02-18T10:25:40Z", "dataset_version": "v2.1"}

2.6 数据判断与误差分析

数据判断主要聚焦于以下两方面：

• 可靠性判断： 检查实验日志中是否出现环境异常（如CPU占用飙升、内存不足）。若出现，该次实验数据应标记为无效。
• 异常值判断： 使用箱线图或3σ原则识别单次实验中的异常MRE点。异常点占比超过10%时，应重新检查数据集质量。

误差分析层面，重点关注参数调整后误差分布形态的变化：

• 误差是否向某个方向偏移（系统偏差增大）？
• 误差的离散程度（标准差、四分位距）是否扩大？
• Pred(25)是否提升？如果提升但MdMRE未改善，可能说明参数仅改善了小项目估算，而恶化了大型项目。

2.7 调参策略与验收阈值

基于单参数调试结果，调参策略遵循以下决策逻辑：

本章节的验收阈值定义为：

• 环境搭建的可复现性：连续运行同一实验3次，MdMRE波动范围 < 2%。
• 参数隔离正确性：隔离验证脚本在100次随机实验中均未发现非预期参数变动。
• 基准稳定性：基准模型在调试集上的MdMRE与验证集上的MdMRE差异 < 5%。

2.8 误差分析与调参策略落地

误差分析应形成可视化报告，至少包含以下两张图表（非SVG，需在后续实践中生成）：

• 误差对比箱线图：基准 vs 调参后，展示中位数、四分位距、异常值分布。
• Pred(25)趋势折线图：不同参数值下的Pred(25)变化曲线，辅助确定参数有效区间。

调参策略的最终输出是一张参数有效范围表，例如：