1. 课程导入
在真实业务中，模型上线后的表现往往不会一直稳定。某一天，你会突然发现：原本识别准确的场景开始频繁误判，客服反馈集中出现，线上指标出现拐点。此时，团队最常问的三个问题是——“到底哪里退化了？”、“能不能把当时那批难例找回来？”、“怎么证明是模型问题而不是数据或环境问题？”。本课程要解决的，正是从“现象”到“证据”再到“修复验证”的完整工程链路。
一、学习目标：从“感觉变差”到“可复现、可定位、可验证”
本课程不是单纯讲模型调参，而是把难例回放复现与模型退化分析当作一套工程能力来训练。学完后，你应当能够独立完成以下任务：
- 建立难例的采集、标注、归档与版本管理机制，让“当时那批坏样本”可被稳定找回；
- 搭建可复现的回放环境，固定数据版本、模型版本、预处理与推理配置，排除随机性干扰；
- 对退化进行分层归因：数据漂移、标签噪声、特征管道变更、模型更新、后处理阈值、服务依赖；
- 用对比实验与指标切片定位退化区间，输出可执行的修复方案与回归验证集；
- 把一次排障沉淀为可复用的监控、告警与回归资产，避免同类问题重复发生。
核心价值：难例回放复现解决“能不能重现”，模型退化分析解决“为什么退化”，两者结合才能把线上事故转化为模型迭代的确定性输入，而不是靠猜测和反复试错。
二、核心原理：退化分析的本质是“控制变量 + 证据链”
模型退化通常不是单一原因造成的。线上环境里，数据分布、采集设备、标注口径、特征工程、模型权重、推理框架、后处理规则、甚至服务超时重试，都可能让最终输出发生变化。因此，退化分析的第一原则是控制变量：在回放时，只改变一个因素，观察指标变化；第二原则是保留证据链：每个结论都要能追溯到具体样本、具体版本、具体配置。
一个典型的退化分析链路可以概括为：现象发现 → 难例回收 → 环境复现 → 分层归因 → 修复验证 → 回归沉淀。其中“难例回收”决定了你能否拿到真实问题样本，“环境复现”决定了结论是否可信，“分层归因”决定了修复是否精准。
三、方法流程：一次完整的退化排障怎么做
下面给出一个可落地的标准流程。它适用于分类、检测、检索、排序、生成等多种任务，区别只在于指标和切片维度不同。
- 定义退化现象：明确是整体指标下降，还是某个切片（如夜间、小目标、长尾类）下降；记录时间窗口与影响范围。
- 回收难例：从线上日志、用户反馈、人工抽检中提取误判样本，保留原始输入、模型输出、置信度、时间戳与请求上下文。
- 建立回放环境：固定数据版本、模型版本、预处理代码、推理框架与后处理规则，确保同一输入可得到稳定输出。
- 复现与比对：将难例输入回放环境，对比线上输出与回放输出；若不一致，优先排查环境差异与版本漂移。
- 分层归因：按数据、特征、模型、后处理、服务依赖五个层次逐一验证，定位主要贡献因素。
- 修复与验证：针对根因制定修复方案，在回归集与线上小流量中验证，确认指标恢复且无新增副作用。
- 沉淀资产：将难例加入回归集，将监控规则加入告警体系，将排障过程写入复盘文档。
实操建议：回放环境建议用容器镜像固化依赖，用配置文件记录所有可变参数。下面是一个回放配置的示例片段，便于你理解“可复现”需要记录哪些信息。
replay:
data_version: "dataset-2024-06-12"
model_version: "detector-v3.7.2"
preprocess:
resize: [640, 640]
normalize: "imagenet"
postprocess:
score_threshold: 0.35
nms_iou: 0.5
runtime:
framework: "onnxruntime"
provider: "cuda"
batch_size: 1
sample_source: "hard_case_bucket_20240612"
四、案例场景：一个“夜间小目标漏检”的退化复盘
某检测模型上线两周后，夜间场景的召回率从 0.82 降到 0.71。团队按上述流程操作：先从日志中回收 300 张夜间误判样本，发现多数为小目标且置信度集中在 0.3～0.4；回放后发现线上输出与回放输出不一致，进一步排查发现线上后处理阈值被临时调高到 0.45，而回放配置仍是 0.35。将阈值恢复后，召回率回到 0.80，但仍有 0.02 的差距。继续分层归因，发现新版本模型在夜间小目标上的训练样本占比下降了 18%，属于数据分布问题。最终通过补充夜间小目标样本并重新训练，召回率恢复到 0.83，同时将“夜间小目标召回率”加入监控看板。
| 分析层次 | 典型问题 | 验证方式 | 常见修复 |
|---|---|---|---|
| 数据层 | 分布漂移、标签噪声、采样偏差 | 切片统计、标注复核、分布对比 | 补充样本、清洗标签、重采样 |
| 特征层 | 预处理变更、特征缺失、归一化不一致 | 特征快照比对、单元测试 | 回滚预处理、修复管道 |
| 模型层 | 权重更新、结构变更、训练不充分 | 版本对比、消融实验 | 回滚模型、增量训练 |
| 后处理层 | 阈值调整、NMS 参数变化、规则冲突 | 参数扫描、输出比对 | 恢复阈值、重新调参 |
| 服务层 | 超时重试、依赖版本、并发限流 | 链路追踪、依赖版本核对 | 修复依赖、调整超时策略 |
五、常见误区与复盘要点
- 误区一：只盯模型。很多退化其实来自数据管道或后处理阈值，先做全链路排查比直接重训更高效。
- 误区二：难例只存不管理。没有版本、没有标注、没有上下文的难例，回放时无法复现，等于没有。
- 误区三：回放环境与线上不一致。依赖版本、随机种子、并发顺序都可能影响输出，必须固化配置。
- 误区四：修复后不做回归。一次修复可能引入新的切片退化，必须用回归集和小流量验证。
- 复盘要点：记录“现象—证据—根因—修复—验证—沉淀”六段式结论，让下一次排障有据可查。
工程提醒：难例回放复现与模型退化分析不是一次性任务，而应成为模型迭代的常规环节。建议在 CI/CD 中固定加入“难例回归”步骤，任何模型或配置变更都必须通过难例集验证后才能上线。
本课程后续将围绕难例采集与归档、回放环境搭建、退化归因方法、对比实验设计、监控告警与复盘沉淀等模块展开。掌握这套工程方法后，你面对线上退化时将不再依赖直觉，而是能够用证据链快速定位问题、验证修复，并把每一次故障转化为模型能力的增量。