4、数据获取与预处理：金融机构资产负债表数据、市场数据、支付结算数据、网络数据来源及清洗方法
系统性风险分析的基础在于高质量、多维度、可关联的数据资产。无论是测算单个机构的违约概率、度量市场流动性枯竭，还是构建机构间风险传染网络，数据质量直接决定模型输出的可信度与监管决策的有效性。本章围绕四类核心数据——资产负债表数据、市场数据、支付结算数据、网络数据，系统讲解其来源渠道、获取方式、清洗逻辑与关联整合方法，并针对常见的数据陷阱给出实操层面的解决方案。
4.1 资产负债表数据：来源、口径与清洗
核心原理：资产负债表数据是度量金融机构杠杆率、流动性缓冲、资产质量的基础。系统性风险分析中，不仅需要单家机构的静态报表，更需要跨机构、跨时期的可比面板数据。监管报表（如中国的1104报表、美国的FR Y-9C）提供了标准化的科目定义，但不同监管辖区、不同机构类型（银行、券商、保险）之间的科目映射是清洗的首要难点。
数据来源与获取渠道：
- 监管报表：央行、银保监会/金融监管总局、证监会披露的机构监管报表，通常通过金融统计监测系统获取，具有最高权威性。
- 公开披露：上市金融机构的定期报告（年报、半年报、季报），可从交易所官网、巨潮资讯网等渠道获取PDF或结构化数据。
- 第三方数据库：Wind、Bloomberg、Bankscope/Orbis Bank Focus等商业数据库，提供标准化后的历史面板数据，但存在更新延迟和口径调整风险。
清洗方法要点：
- 口径统一：将不同会计准则（CAS、IFRS、US GAAP）下的科目映射到统一模板。例如“贷款减值准备”在CAS下计入资产减项，在IFRS下可能计入“预期信用损失准备”。
- 并表与未并表处理：明确合并报表与母公司报表的差异，对于集团内关联交易需进行抵消处理，避免重复计算风险敞口。
- 缺失值处理：对于非上市或未披露完整报表的机构，可采用“最近可得值前向填充”或“同组均值插补”，但需在模型中标注插补标识。
- 表外项目还原：将表外承诺、担保、衍生品名义本金按信用转换系数（CCF）折算为表内等价敞口，这是系统性风险分析中常被忽视的关键步骤。
4.2 市场数据：高频采集与异常值处理
核心原理：市场数据（股价、债券收益率、信用利差、CDS报价、汇率、波动率指数）是构建市场情绪指标、计算CoVaR和SRISK等系统性风险度量的核心输入。市场数据的核心优势在于高频性和前瞻性，能够及时反映投资者对机构健康状况的边际定价。
数据来源与获取渠道：
- 交易所行情：沪深交易所、银行间市场（外汇交易中心）、港交所等提供的逐笔成交和最优报价数据。
- 数据供应商：Wind、Bloomberg、Refinitiv提供整合后的日频/分钟频数据，包含复权因子、收益率曲线、信用利差等衍生指标。
- 另类数据：新闻情绪、社交媒体舆情、卫星图像等，可作为市场数据的补充信号，但需经过NLP处理与情绪打分。
清洗方法要点：
- 异常值检测：采用“MAD（中位数偏差）”或“Tukey's Fence”方法识别价格跳变。例如，某银行股价单日涨跌幅超过5倍标准差，需检查是否为数据录入错误、除权除息未复权或真实极端事件。
- 停牌与缺失处理：停牌期间价格缺失，不可简单前向填充，应标记为“非交易状态”。对于债券市场，流动性不足导致无报价时，需采用“矩阵定价”或“最近成交价+信用利差调整”方法。
- 复权处理：分红、送股、配股会导致价格不连续，需统一使用前复权或后复权数据，确保收益率计算的准确性。
- 跨市场时间对齐：股票市场与债券市场交易时间不同（如银行间市场收盘时间早于交易所），需将不同频率数据对齐到统一时间戳（如日终或特定时点）。
4.3 支付结算数据：逐笔流水与网络构建
核心原理：支付结算数据（尤其是大额支付系统数据）是构建金融机构间真实资金往来网络的“金矿”。每一笔支付指令都包含了付款行、收款行、金额、时间、用途等字段，能够精确刻画资金流动的方向与规模。这类数据是计算网络中心度、识别系统重要性机构、模拟流动性冲击传染路径的基础。
数据来源与获取渠道：
- 央行支付系统：中国的大额实时支付系统（HVPS）、小额批量支付系统（BEPS），以及美国的Fedwire、CHIPS。这些数据通常不对外公开，仅供监管机构内部使用。
- 清算所数据：银行间市场清算所（上海清算所）提供的债券交易、回购交易的结算数据。
- 内部系统：大型银行内部的资金转移系统数据，可用于分析集团内子公司之间的资金往来。
清洗方法要点：
- 净额结算处理：支付系统中存在大量双向资金往来，需按“双边净额”或“多边净额”规则进行轧差，否则会高估网络连接强度。例如，A银行当日向B银行支付100笔共50亿元，B银行向A银行支付80笔共40亿元，净额为10亿元。
- 去重与合并：同一笔交易可能在大额支付系统和小额支付系统中均有记录，需通过交易流水号、对手行号、金额、时间等字段进行匹配去重。
- 时间戳标准化：支付系统数据通常精确到秒，需统一时区（北京时间UTC+8），并按日终、周终或月终进行聚合。
- 机构映射：支付系统中的行号（如CNAPS行号）需映射到统一的机构ID，以便与资产负债表数据、市场数据关联。对于非银行金融机构（如券商、基金），需建立“支付系统行号-机构法人-集团母公司”的多层映射表。
4.4 网络数据：敞口矩阵与实体识别
核心原理：网络数据特指金融机构之间的直接风险敞口数据，包括同业拆借、回购、衍生品交易、证券融资等。与支付结算数据不同，网络数据反映的是“存量敞口”而非“流量交易”，是构建传染网络矩阵（如BIS的FSB数据模板）的直接输入。
数据来源与获取渠道：
- 监管数据模板：金融稳定理事会（FSB）推荐的“金融机构间关联数据模板”，要求系统重要性银行按对手方、按产品类型报告敞口。
- 交易报告库（TR）：衍生品交易需向经授权的交易报告库报告，包含对手方、名义本金、抵押品、估值等信息。
- 市场调查：央行定期开展的同业拆借市场调查、债券回购市场调查，可获取非上市机构的敞口数据。
清洗方法要点：
- 实体识别与去重：同一金融机构可能以不同名称、不同法人代码出现在不同数据源中（如“工商银行”与“ICBC”），需建立统一的机构ID映射表，并采用模糊匹配算法（如编辑距离、Jaccard相似度）辅助识别。
- 敞口方向确认：明确“应收”与“应付”方向，避免在构建有向网络时出现边方向错误。例如，A银行向B银行拆出资金，则边方向为A→B，权重为拆出金额。
- 抵押品调整：对于有抵押的敞口（如回购），需区分“无抵押敞口”和“净敞口（扣除抵押品后）”。传染分析中通常使用无抵押敞口，因为抵押品在压力时期可能无法及时处置。
- 多层嵌套处理：集团内部子公司之间的敞口需按“合并口径”或“单独口径”分别处理。若分析目标是单家机构，则保留子公司层面数据；若分析目标是集团，则需合并抵消内部交易。
4.5 多源数据关联整合与质量校验
核心原理：四类数据并非孤立使用，而是需要关联整合形成统一的分析视图。例如，计算CoVaR需要市场数据（股价收益率）与资产负债表数据（杠杆率）；构建传染网络需要支付结算数据（识别交易对手）与网络数据（确认敞口规模）。数据整合的关键在于建立稳定的“机构ID主键”和“时间对齐规则”。
整合流程：
| 步骤 | 操作内容 | 关键工具/方法 | 输出物 |
|---|---|---|---|
| 1. 机构ID映射 | 将行号、证券代码、法人代码统一映射到内部机构ID | 映射表、模糊匹配 | 机构ID主键表 |
| 2. 时间对齐 | 将日频市场数据、季度报表数据、逐笔支付数据对齐到统一时间轴 | 时间戳标准化、重采样 | 统一时间索引 |
| 3. 指标计算 | 基于清洗后数据计算杠杆率、流动性覆盖率、网络中心度等 | Python/Pandas、R | 指标面板 |
| 4. 交叉验证 | 将市场数据隐含的违约概率与报表数据计算的Z-score对比 | 散点图、相关性分析 | 数据质量报告 |
质量校验规则：
- 平衡性校验：资产负债表必须满足“资产=负债+所有者权益”，若偏差超过0.01%需排查。
- 一致性校验：支付结算数据中的对手方名称应与网络数据中的机构名称匹配，匹配率应高于95%。
- 合理性校验：市场数据中的收益率不应出现连续多日为0或异常跳变；CDS利差不应为负值（除非存在市场扭曲）。
背景与约束：某国央行拟构建国内银行体系传染网络，需整合20家主要银行的四类数据。约束条件：支付结算数据仅能获取日度净额数据，网络数据仅覆盖15家银行（5家外资银行分行未覆盖）。
初始现象：初步构建的网络矩阵中，有3家银行之间的连接强度明显低于同业平均水平，经排查发现是支付结算数据中“代理行”处理不当——部分中小银行通过大行代理清算，导致资金流被错误归集到大行名下。
关键操作：①建立“代理行-被代理行”映射关系，将代理清算资金流还原至实际受益银行；②对未覆盖的5家外资银行，采用“最大熵法”估计其与国内银行的敞口，并设置±20%的扰动区间进行敏感性分析；③将市场数据（CDS利差）与网络数据（同业拆借利率）进行交叉验证，发现某银行CDS利差显著高于同业但网络中心度较低，进一步排查发现其大量风险敞口通过表外SPV持有，未纳入报表。
结果对比：修正后网络的平均路径长度从2.8降至2.3，网络密度从0.12升至0.18，更符合实际业务直觉。压力测试中，修正后的网络模拟的传染损失比修正前高约35%。
复盘经验：数据清洗不是一次性工作，而是需要与业务部门反复确认的迭代过程。建议建立“数据质量看板”，对关键字段的缺失率、异常率、匹配率进行持续监控。
4.6 常见误区与总结
误区一：重市场数据、轻报表数据。市场数据虽高频，但受市场情绪影响大，在极端压力下可能失真（如流动性枯竭导致CDS报价失真）。应始终以资产负债表数据作为“锚”，市场数据作为“先行指标”。
误区二：忽视数据口径的时变性。监管报表的科目定义可能随政策调整而变化（如资管新规后表外理财回表），需建立“口径变更日志”，在面板数据中标注断点。
误区三：网络数据过度依赖估计值。最大熵法虽能补全缺失数据，但会高估网络的均匀性，低估“核心-边缘”结构。建议在报告中同时呈现“观测网络”和“估计网络”两套结果。
误区四：忽略数据时效性。支付结算数据T+1日才能获取完整数据，而市场数据是实时的。在构建“实时监测系统”时，需设计“数据延迟补偿机制”，例如用市场数据预测当日支付流量的变化。