4. 数据源与采集：Drift监控所需的数据类型与采集架构设计
压力测试Drift监控的基石是高质量、高频率、高一致性的数据。数据源的完整性直接决定了监控模型能否准确捕捉风险偏移。本章将系统梳理Drift监控所需的三大数据类型，并给出可落地的采集架构设计方案。
4.1 Drift监控所需的数据类型
根据金融压力测试的业务逻辑与风险因子传导路径，Drift监控依赖的数据可分为三类：市场数据、交易数据、参考数据。三者共同构成“风险因子-头寸-映射关系”的完整数据闭环。
| 数据类型 | 核心内容 | 典型字段示例 | Drift监控用途 |
|---|---|---|---|
| 市场数据 | 利率、汇率、股票指数、信用利差、商品价格、波动率曲面 | USD/CNY即期汇率、3M SHIBOR、S&P 500收盘价、CDS spread | 计算风险因子漂移量、压力情景生成、敏感性分析 |
| 交易数据 | 头寸持仓、交易流水、盯市估值、保证金、抵押品 | 组合ID、名义本金、到期日、盯市价值、抵押品折率 | 头寸映射、敞口聚合、损益归因、违约暴露计算 |
| 参考数据 | 产品主数据、评级映射表、期限结构曲线、相关性矩阵 | ISIN代码、内部评级、折现曲线ID、资产间相关系数 | 参数校准、模型基准、历史回测、情景映射 |
关键提示： 市场数据是Drift监控的“前哨”，交易数据是“本体”，参考数据是“标尺”。三者缺一不可，且必须保持时间戳对齐与版本一致性。
4.2 数据采集架构设计
为支撑高频Drift监控（通常为日频或日内频次），采集架构需满足低延迟、高可用、可回溯三大原则。以下为推荐的分层采集架构：
架构要点： 采用“采集层-缓冲层-存储层-计算层”四层分离设计，避免数据管道阻塞影响监控实时性。
4.3 数据采集关键流程
在实际落地中，数据采集需遵循以下标准化流程，以确保Drift监控数据的可审计性与可重复性：
- 数据源注册与认证： 每个数据源需在采集中心注册，配置访问凭证、频率、协议（API Key / 证书 / SSH隧道）。
- 数据拉取与校验： 按预设频率拉取数据，执行完整性校验（字段非空、时间戳连续性、数值范围检查）。
- 标准化与清洗： 将原始数据转换为统一Schema，处理缺失值、异常值、重复记录。
- 时间戳对齐： 将市场数据、交易数据、参考数据统一对齐到同一时间轴（如UTC+8 17:00快照）。
- 数据分发与存储： 将清洗后的数据写入缓冲层，再按用途分发至时序库、关系库或数据湖。
- 监控与告警： 对采集管道本身进行健康监控，数据延迟超过阈值时触发告警。
常见陷阱： 市场数据与交易数据的时间戳不一致（如市场数据使用UTC，交易数据使用本地时间）会导致Drift计算出现系统性偏差。务必在采集阶段完成时区统一。
4.4 数据质量要求与对比
不同类型的数据对质量的要求存在差异，Drift监控对市场数据的实时性要求最高，对参考数据的一致性要求最严格。
| 质量维度 | 市场数据 | 交易数据 | 参考数据 |
|---|---|---|---|
| 实时性 | ≤ 1分钟（日内监控） | ≤ 15分钟（日终批次） | ≤ 1天（日终更新） |
| 完整性 | ≥ 99.9% | ≥ 99.5% | ≥ 99.9% |
| 准确性 | 小数点后4位 | 小数点后2位 | 版本号+生效日期 |
| 一致性 | 跨源交叉验证 | 与清算系统对账 | 主数据唯一标识 |
4.5 采集架构落地建议
根据团队技术栈与监控频率，推荐以下两种采集模式：
- 实时流式采集（适用于日内Drift监控）： 使用Kafka Connect或Flink CDC实时捕获市场数据推送，交易数据通过消息队列异步同步，参考数据每日全量加载至内存缓存。
- 批量定时采集（适用于日终Drift监控）： 使用Airflow或DolphinScheduler编排采集DAG，市场数据每15分钟拉取一次，交易数据在日终清算后批量导入，参考数据在每日开盘前完成更新。
最佳实践： 建议初期采用“批量采集+日终监控”模式快速上线，待数据管道稳定后再升级为“流式采集+日内监控”。数据采集的代码应纳入版本管理，每次Schema变更需经过回归测试。
选择哪种模式取决于监控频率要求与团队技术储备。对于大多数金融机构，建议先以批量采集为起点，逐步向实时流式演进。