3. 变更类型与影响模式

在实验数据变更影响分析中，最危险的做法是把所有变更都当成同一类事件处理。实际上，六类变更的触发点、传播介质和最终污染的实验结论完全不同。理解它们的传导路径，是决定回归验证范围与优先级的核心依据。

六类变更的定位与传导介质

数据源变更发生在采集侧，例如上游埋点SDK升级、日志采集通道切换、第三方数据接口版本更新。它的传导介质是“原始记录本身”，下游所有派生字段、指标、模型都会继承这一变化。典型表现是某日分区行数突变、字段缺失率跳变、枚举值集合扩张。

Schema变更发生在结构层，包括字段增删、类型变更、分区键调整、嵌套结构扁平化。它不改变业务语义，但会直接破坏下游解析逻辑。例如将 user_id 从 string 改为 bigint，下游若仍按字符串拼接分区路径，就会产生空分区或写入失败。

口径变更发生在指标定义层，例如“活跃用户”从“当日有任意事件”改为“当日有曝光且停留大于3秒”。口径变更不改变数据本身，却改变聚合逻辑，其传导路径最长、最隐蔽，往往在实验结论层面才暴露。

样本变更发生在实验对象集合层，包括分流比例调整、过滤条件修改、样本去重规则变化。它直接改变进入实验的总体，影响的是结论的外部效度。

特征变更发生在模型输入层，例如特征计算窗口从7天改为14天、缺失值填充策略从均值改为中位数。它影响模型打分分布，进而影响实验组与对照组的可比性。

标签变更发生在监督信号层，包括标签定义调整、标注规则更新、正负样本比例变化。它主要影响离线评估指标，并可能通过模型迭代间接影响在线实验。

传导路径的差异与验证卡点

从图中可以看出，六类变更的传导路径长度差异显著。数据源变更和Schema变更属于“短路径”，通常在数据接入层就能通过行数比对、字段空值率、解析成功率等指标发现异常。口径变更属于“长路径”，它绕过数据质量监控，直接改变聚合结果，因此必须在指标层设置新旧口径双跑对比。

样本变更的传导路径指向实验总体，验证重点是分流一致性。例如某实验原分流比例为50:50，变更后实际进入实验的样本中对照组占比变为47%，此时即使指标差异显著，也不能直接归因于策略本身。特征变更的传导路径经过模型打分，验证重点是特征分布稳定性，常用PSI（Population Stability Index）监控，当PSI大于0.1时提示分布有显著偏移，大于0.25时需立即排查。

标签变更的传导路径最短但影响最直接，它改变的是离线评估的基准。例如将“点击”标签从“任意点击”改为“有效点击（停留大于2秒）”，正样本比例可能从12%降至5%，此时AUC的绝对值变化并不代表模型能力变化，必须重新建立基线。

实际排查中的组合判断

真实场景中，变更往往不是单一类型。例如一次上游SDK升级可能同时引发数据源变更（新增字段）和Schema变更（字段类型变化）。此时排查顺序应遵循“先结构后语义”的原则：先确认Schema兼容性，再检查数据源行数与枚举值，最后才进入口径与样本层。

一个可操作的判断依据是：如果变更后指标波动幅度超过历史同期标准差的3倍，且波动集中在某个特定维度（如某地区、某设备型号），则优先怀疑数据源或样本变更；如果波动是全局性的、所有维度同向偏移，则优先怀疑口径变更。这一判断规则可以帮助团队在回归验证时快速缩小排查范围。

回归验证的优先级排序

当多个变更同时发生时，回归验证的优先级应按照“传导路径长度 × 影响面”排序。口径变更虽然路径长，但影响面覆盖所有依赖该指标的实验，应优先验证；Schema变更影响面广但路径短，可通过自动化冒烟快速覆盖；标签变更影响面相对局部，但一旦出错会直接导致模型选型错误，因此需要人工复核。

具体执行时，可以按以下顺序推进：第一步，对数据源和Schema变更运行自动化数据质量检查，确认行数偏差在±5%以内、关键字段空值率无跳变；第二步，对口径变更执行新旧逻辑双跑，对比聚合结果差异，若差异超过1%则需逐条排查；第三步，对样本变更校验分流比例，使用卡方检验判断实际分流是否符合预期；第四步，对特征变更计算PSI，对标签变更重新计算混淆矩阵。每一步的通过标准应根据业务容忍度设定，但必须明确记录在回归验证报告中。

理解六类变更的传导路径，本质上是在建立一张“影响地图”。当变更发生时，团队可以沿着地图快速定位受影响的环节，而不是盲目地全量回归。这既节省验证成本，也降低漏检风险。