4. 增量更新基础
在金融场景中，模型上线往往只是起点。市场风格切换、监管规则调整、用户行为迁移，都会让昨天有效的模型在今天迅速衰减。增量更新要解决的核心问题不是“能不能再训练一次”，而是如何在不重放全量历史数据、不显著增加算力成本的前提下，让模型持续吸收新信息，同时保留旧知识。这背后涉及四个基础概念：增量学习、持续学习、灾难性遗忘，以及稳定性-可塑性困境。
一、核心原理：四个概念的关系
增量学习（Incremental Learning）强调数据以批次或流式方式到达，模型按序更新，不一次性访问全部历史。它关注的是“更新效率”和“参数复用”。持续学习（Continual Learning）范围更大，要求模型在一系列任务或数据分布上依次学习，并在所有已见任务上保持可评估的性能。可以说，增量学习是持续学习的一种实现路径，而持续学习是增量学习的目标约束。
当模型用新数据更新参数时，若新梯度覆盖了旧任务关键参数，旧任务性能会急剧下降，这就是灾难性遗忘（Catastrophic Forgetting）。金融风控模型中，若只用最近三个月的违约样本微调，模型可能迅速适应新客群，却对老客群的历史风险模式失去判别力。
与之对应的是稳定性-可塑性困境（Stability-Plasticity Dilemma）：稳定性要求模型保留旧知识，可塑性要求模型吸收新知识。两者天然冲突。过度稳定，模型无法适应市场变化；过度可塑，模型会被噪声和短期波动带偏。增量更新的全部方法设计，本质上都是在这两者之间寻找动态平衡。
二、方法流程：增量更新的典型闭环
一个可落地的增量更新流程通常包含五个环节，每个环节都对应稳定性与可塑性的取舍。
- 数据到达与漂移检测：监控新样本分布与训练分布的差异，如PSI、KS或特征均值偏移。只有确认发生有效漂移，才触发更新，避免频繁无效训练。
- 样本筛选与加权：对新样本按时间衰减、置信度或业务重要性加权；同时保留少量旧任务代表样本，形成“新数据为主、旧数据为辅”的混合批次。
- 参数更新策略：可选择全参数微调、只更新部分层、使用EWC等正则约束，或采用适配器（Adapter）与LoRA等参数高效方法。
- 旧任务性能校验：在更新后立即在旧任务验证集上评估，若下降超过阈值，则回滚或降低学习率。
- 版本发布与回滚：模型版本化，记录数据窗口、超参数和评估指标，支持快速回滚。
关键参数示例：学习率通常设为全量训练的1/5到1/10；旧样本回放比例建议10%～30%；EWC正则强度λ需通过验证集搜索，过大导致欠拟合新数据，过小则遗忘严重。
三、案例/场景：金融风控模型的月度增量
某消费金融风控模型每月新增约8万条带标签样本，历史累计样本120万条。若每月全量重训，算力成本高且上线周期长。团队采用增量更新方案：
- 每月取新样本8万条，按时间衰减加权，最近一个月权重为1.0，前三个月为0.6、0.4、0.2。
- 从历史样本中分层抽样2万条作为回放集，覆盖各风险等级和客群。
- 使用EWC对关键特征权重施加约束，λ=0.02。
- 学习率设为0.0005，仅训练最后两层与输出层。
- 更新后在旧客群验证集上评估AUC，若下降超过0.01则回滚。
运行六个月后，模型在新客群上的AUC提升约0.03，旧客群AUC下降控制在0.005以内，训练时间从全量重训的6小时降至40分钟。这说明合理的增量策略可以在稳定性与可塑性之间取得可接受的平衡。
| 策略 | 稳定性 | 可塑性 | 算力成本 | 适用场景 |
|---|---|---|---|---|
| 全量重训 | 高 | 高 | 高 | 数据量小、更新频率低 |
| 全参数微调 | 低 | 高 | 中 | 分布变化剧烈 |
| EWC正则 | 中高 | 中 | 低 | 任务边界清晰 |
| 经验回放 | 高 | 中高 | 中 | 历史样本可保留 |
| 参数隔离/LoRA | 高 | 中 | 低 | 多任务、多客群 |
四、误区与复盘
误区一：把增量更新等同于“用新数据再训一遍”。这往往导致灾难性遗忘。正确做法是显式设计旧知识保留机制，如回放、正则或参数隔离。
误区二：只监控新数据指标。新客群AUC上升不代表模型整体变好，必须同时监控旧任务和整体指标。
误区三：忽略数据漂移检测。没有漂移时频繁更新，只会引入噪声和不确定性。
误区四：学习率沿用全量训练配置。增量更新通常需要更小学习率，否则会快速覆盖旧参数。
复盘时建议记录每次更新的数据窗口、回放比例、正则强度、新旧任务指标变化和回滚情况。长期积累后，可以形成适合自身业务节奏的增量更新策略库，而不是每次凭经验拍参数。
一句话总结：增量更新的本质不是“学得更快”，而是在稳定性与可塑性之间建立可监控、可回滚、可复用的动态平衡机制。