4. 回测与验证的区别
在IFRS 9预期信用损失（ECL）模型的整个生命周期中，回测（Backtesting）、验证（Validation）、校准（Calibration）与监控（Monitoring）是四个高频出现、却最容易被混用的概念。许多团队在模型投产后，把“回测通过”等同于“模型有效”，把“验证报告”当作“合规文档”，把“校准”理解为“调参”，把“监控”简化为“看报表”。这种概念边界的模糊，直接导致治理职责不清、资源错配，甚至在审计与监管检查中暴露重大缺陷。本节将这四个概念放在同一框架下，厘清它们的定义边界、目标差异与协同关系。
一、核心原理：四个概念的定义边界
要理解四者的区别，首先要抓住它们各自回答的核心问题。回测回答的是“模型过去的预测准不准”；验证回答的是“模型在概念上、方法上、数据上是否合理且可靠”；校准回答的是“模型的输出是否需要调整、如何调整才能更贴近现实”；监控回答的是“模型在持续运行中是否仍然稳定、是否出现异常”。这四个问题分别对应不同的时间视角、不同的证据类型和不同的治理动作。
回测是面向历史结果的实证检验。它以模型在历史时点上的预测值与实际观测值之间的差异为对象，通过统计指标（如预测偏差率、区分度、稳定性）判断模型在过去是否有效。回测的核心是“比较”，比较的对象是预测与实际。
验证是面向模型本身的独立评估。它不局限于预测结果，而是覆盖模型的设计、假设、数据、方法、实现、文档和治理。验证的核心是“质疑与确认”，由独立于模型开发团队的岗位执行，目的是确认模型是否适合其用途。
校准是面向输出调整的技术动作。当回测或验证发现模型输出存在系统性偏差时，校准通过调整参数、叠加调整因子或重新拟合，使模型输出更接近实际。校准的核心是“修正”，但修正必须有依据、有记录、有审批。
监控是面向持续运行的常态化机制。它通过定期或实时的指标跟踪，发现模型性能的漂移、数据质量的变化和外部环境的突变。监控的核心是“预警”，它不直接修正模型，而是触发后续的回测、验证或校准动作。
一句话区分：回测看“结果准不准”，验证看“模型对不对”，校准做“输出调不调”，监控看“运行稳不稳”。
二、方法流程：四者在模型生命周期中的位置
从模型开发到退役，四个概念并非并列，而是形成一条“监控触发—回测检验—验证评估—校准修正—再监控”的闭环。下图展示了这一协同关系。
具体流程上，监控通常以月度或季度频率运行，跟踪PSI、迁移率、违约率等指标。当监控触发预警阈值时，启动回测，对特定组合或全量模型进行历史预测偏差分析。回测结果若显示系统性偏差，则进入验证环节，由独立团队评估偏差原因、模型假设是否仍然成立。验证结论若建议调整，则进入校准，完成参数修正或叠加调整。校准后的模型重新纳入监控，形成闭环。
需要强调的是，验证并不只在投产后进行。模型开发阶段的独立验证（如方法论证、数据验证）同样属于验证范畴。而回测和校准则更多发生在投产后。监控贯穿全生命周期，是触发其他动作的“传感器”。
三、案例/场景：一次ECL模型偏差的处置过程
假设某银行零售贷款组合的ECL模型在2024年第一季度监控中发现，组合层面ECL较上季度上升18%，但底层违约率仅上升3%。监控指标PSI从0.08升至0.21，超过预警阈值0.15。此时，团队按以下步骤处置：
- 监控触发：PSI超标，ECL变动与违约率变动不匹配，触发回测任务。
- 回测检验：对过去8个季度进行回测，发现模型在2023年Q3和Q4的预测违约率系统性低于实际违约率约22%，预测偏差率超过容忍上限15%。
- 验证评估：独立验证团队介入，发现模型使用的宏观变量（如失业率）在2023年下半年出现结构性变化，而模型仍沿用历史线性关系，导致预测滞后。
- 校准修正：验证团队建议对宏观变量系数进行重新估计，并叠加一个临时调整因子。校准后，模型对2023年Q3、Q4的回测偏差率降至6%以内。
- 再监控：校准后的模型重新进入监控，PSI回落至0.11，ECL变动与违约率变动恢复合理关系。
这个案例中，四个概念各司其职：监控发现异常，回测量化偏差，验证找到根因，校准实施修正。缺少任何一环，处置都会不完整。例如，若跳过验证直接校准，可能只治标不治本；若只回测不监控，则可能错过最佳干预时机。
四、误区/复盘：常见混淆与治理建议
误区一：回测通过等于模型有效。回测只检验历史预测准确性，不检验模型假设、数据质量和逻辑合理性。一个回测通过的模型，可能因为过拟合而在未来失效。
误区二：验证是一次性合规动作。验证应贯穿模型开发、投产和重大变更。投产后若监控触发重大预警，应启动专项验证，而非仅做回测。
误区三：校准可以随意调参。校准必须有验证结论支撑，调整幅度、方法和审批流程应留痕。无依据的校准会破坏模型的可解释性和可审计性。
误区四：监控只是看报表。监控需要设定明确的阈值、触发条件和升级路径。没有触发机制的监控，只是数据展示，不构成有效治理。
为便于记忆和落地，下表对四个概念进行系统对比。
| 维度 | 回测 | 验证 | 校准 | 监控 |
|---|---|---|---|---|
| 核心问题 | 预测准不准 | 模型对不对 | 输出调不调 | 运行稳不稳 |
| 时间视角 | 历史结果 | 模型本身 | 当前输出 | 持续运行 |
| 执行主体 | 模型开发或独立团队 | 独立验证团队 | 模型开发团队 | 模型管理或风险团队 |
| 主要输出 | 偏差率、区分度指标 | 验证报告、结论 | 调整后参数或因子 | 预警信号、监控报告 |
| 触发关系 | 由监控或验证触发 | 由监控、回测或变更触发 | 由验证结论触发 | 常态化运行，触发其他动作 |
| 频率 | 季度或半年 | 年度或重大变更时 | 按需，验证后 | 月度或季度 |
治理建议：在模型治理制度中，应明确四个概念的职责边界和衔接机制。监控指标和阈值由风险团队设定；回测方案由模型开发团队制定、独立团队复核；验证由独立岗位执行；校准由开发团队实施、验证团队确认。四者形成“发现—检验—评估—修正—再发现”的闭环，任何一环缺失都会削弱ECL模型的可信度。
理解回测、验证、校准与监控的区别与协同，是构建有效ECL模型治理体系的基础。它们不是四个孤立的动作，而是一条完整的证据链：监控提供线索，回测提供证据，验证提供判断，校准提供修正。只有四者协同运行，ECL模型才能在IFRS 9框架下持续满足准确性、可靠性和可审计性的要求。