3. 数据切片基础:数据源梳理、数据质量检查、切片维度定义(时间、产品、客户、区域)
数据切片是风险计量MRM(Model Risk Management)复盘的核心前置环节。切片质量直接决定后续风险因子归因、模型偏差分析和压力测试结论的可靠性。本章聚焦三大基础动作:数据源梳理、数据质量检查、切片维度定义,为后续章节的量化分析奠定数据底座。
3.1 数据源梳理
风险计量模型通常依赖多个异构数据源。梳理数据源时需明确:来源系统、数据粒度、更新频率、字段映射。下表列出典型MRM复盘场景中的主要数据源及其特征:
| 数据源 | 来源系统 | 典型粒度 | 更新频率 | 关键字段示例 |
|---|---|---|---|---|
| 交易流水 | 核心银行 / 交易系统 | 逐笔交易 | T+1 | 交易ID、金额、币种、对手方 |
| 客户主数据 | CRM / 客户信息平台 | 客户级 | 每日增量 | 客户ID、评级、行业、地区 |
| 产品参数 | 产品工厂 / 定价引擎 | 产品级 | 按需 | 产品代码、期限、利率、提前还款率 |
| 市场行情 | 彭博 / 路透 / 内部估值 | 日频 / 高频 | 实时或日终 | 收益率曲线、汇率、波动率 |
| 历史违约 | 风险数据集市 | 账户级 | 月度 | 违约日期、违约损失率、回收金额 |
3.2 数据质量检查
数据质量检查是切片前的“体检”环节。检查维度通常包括:完整性、准确性、一致性、时效性、唯一性。以下为MRM复盘场景中常见的数据质量问题及处理建议:
- 完整性缺失: 关键字段(如客户评级、产品期限)空值率超过5%,需回溯源系统补录或采用合理插值。
- 准确性异常: 交易金额为负、利率超出合理区间(如年化利率>100%),需标记为异常值并核查。
- 一致性冲突: 同一客户在不同系统中的行业分类不一致,需建立主数据映射规则。
- 时效性滞后: 市场行情数据延迟超过2个工作日,切片时需注明数据截止时间戳。
- 唯一性重复: 交易流水出现重复记录,需按交易ID去重并保留最新状态。
3.3 切片维度定义
切片维度是数据切片的“坐标轴”。在MRM复盘中,最常用的四个维度是:时间、产品、客户、区域。每个维度需定义清晰的层级结构和切片粒度。
3.3.1 时间维度
时间维度支持按日、周、月、季、年切片。在风险计量中,通常以“月末”或“季末”作为观察时点。需注意:时间切片必须对齐模型校准周期和监管报告基准日。
3.3.2 产品维度
产品维度按产品大类 → 产品子类 → 产品代码 三级展开。例如:
- 一级:对公贷款、零售贷款、债券、衍生品
- 二级:流动资金贷款、项目贷款、按揭、信用卡
- 三级:具体产品代码(如 L1001、M2003)
3.3.3 客户维度
客户维度按客户类型 → 行业 → 信用评级 分层。典型切片包括:
- 对公客户 vs. 零售客户
- 制造业、批发零售、房地产等行业
- 内部评级 AAA、AA、A、BBB 等
3.3.4 区域维度
区域维度按大区 → 省份/州 → 城市 划分。在跨境风险计量中,还需加入“国家/地区”层级,并关联主权评级。
以下SVG图展示四个切片维度及其层级关系,帮助理解多维切片的数据组织方式:
3.4 切片维度组合与数据立方体
在实际MRM复盘中,通常需要多维度组合切片,形成数据立方体(Data Cube)。例如:分析“2024年第一季度华东区制造业对公贷款的违约率变化”,需要同时按时间、区域、客户、产品四个维度切片。
以下SVG图展示多维切片组合后的数据立方体结构:
3.5 切片执行流程
数据切片执行建议按以下步骤进行,确保可重复、可审计:
- 步骤1: 确认切片维度组合(如时间+产品+区域),输出《切片规格说明书》。
- 步骤2: 从数据源提取原始数据,按维度字段进行关联和去重。
- 步骤3: 执行数据质量检查,生成质量报告并记录异常处理方式。
- 步骤4: 按维度层级进行聚合计算(SUM、AVG、COUNT等),生成切片数据集。
- 步骤5: 对切片结果进行合理性校验(如与总账核对、与历史趋势对比)。
- 步骤6: 输出切片数据表,并附上元数据说明(数据时间戳、版本号、处理人)。
3.6 切片输出规范
切片完成后,输出数据应包含以下字段结构(示例):
-- 切片数据集字段规范(示例)
time_key VARCHAR(10) -- 时间维度键值,如 '2024-03-31'
product_l1 VARCHAR(20) -- 产品一级分类
product_l2 VARCHAR(20) -- 产品二级分类
customer_type VARCHAR(10) -- 客户类型:对公/零售
industry VARCHAR(20) -- 行业分类
region_l1 VARCHAR(10) -- 区域一级:大区
region_l2 VARCHAR(20) -- 区域二级:省份
exposure_amt DECIMAL(18,2) -- 风险敞口
pd_rate DECIMAL(8,6) -- 违约概率
lgd_rate DECIMAL(8,6) -- 违约损失率
rwa_amt DECIMAL(18,2) -- 风险加权资产
data_version VARCHAR(20) -- 数据版本号
create_time TIMESTAMP -- 切片生成时间
以上规范确保切片数据可直接用于后续的风险因子分解、模型偏差分析和压力测试场景生成。