4. 数据收集与清洗
在LGD（违约损失率）建模中，抵押品与担保信息是解释损失严重程度的核心变量。然而，这类数据往往分散在多个业务系统中，字段命名不统一、口径不一致、缺失与异常并存。若直接进入建模环节，会导致模型对回收率的估计产生系统性偏差。本章聚焦数据收集与清洗的完整链路，帮助学员建立可落地的数据处理规范。
一、核心原理：为什么抵押担保数据需要专门清洗
LGD建模与PD建模对数据的要求存在显著差异。PD关注“是否违约”，而LGD关注“违约后能收回多少”，这决定了抵押品与担保字段具有三个特殊属性：
- 价值时点敏感：抵押品价值需对应违约时点或处置时点，而非合同签订时点。若混用估值日期，回收率计算将失真。
- 结构层次复杂：一笔债权可能对应多个抵押物，一个抵押物也可能担保多笔债权，存在一对多、多对一关系。
- 法律效力差异：担保方式（保证、抵押、质押）的受偿顺序和法律执行力不同，直接影响回收金额。
因此，数据清洗的目标不是简单“填缺失”，而是构建一套与LGD计算逻辑一致的、可追溯的抵押担保数据视图。
二、抵押品与担保字段识别
字段识别是清洗的第一步。建议从三个维度建立字段清单：
| 维度 | 典型字段 | 识别要点 |
|---|---|---|
| 抵押品标识 | 抵押物编号、抵押物类型、权证号、所在地 | 区分动产/不动产/权利质押，权证号用于去重 |
| 价值与日期 | 评估价值、评估日期、账面价值、处置价值 | 明确价值类型，保留最近一次有效评估 |
| 担保关系 | 担保方式、担保人、担保金额、受偿顺序 | 识别一般保证与连带责任保证 |
| 债权关联 | 合同号、借据号、债权余额、违约日期 | 建立抵押物与债权的多对多映射 |
建议在字段识别阶段同步记录数据字典，标注每个字段的来源系统、更新频率和业务含义，为后续整合与审计提供依据。
三、数据来源整合
抵押担保数据通常来自信贷系统、押品管理系统、评估机构接口和外部登记机构。整合流程如下：
- 确定主键与关联键：以合同号或借据号为主键，抵押物编号为关联键，建立债权—押品关系表。
- 统一口径：将不同系统的金额单位、币种、日期格式统一为标准格式。
- 去重与合并：同一抵押物多次评估时，按评估日期取最近有效值；同一债权多笔担保时，按受偿顺序汇总。
- 建立宽表：将债权信息、抵押品信息、担保信息合并为建模宽表，保留原始字段以便回溯。
-- 示例：按债权汇总有效抵押价值
SELECT
loan_id,
SUM(CASE WHEN collateral_type = '不动产' THEN appraised_value ELSE 0 END) AS real_estate_value,
SUM(CASE WHEN collateral_type = '动产' THEN appraised_value ELSE 0 END) AS movable_value,
MAX(appraisal_date) AS latest_appraisal_date
FROM collateral_loan_map
WHERE appraisal_date <= default_date
GROUP BY loan_id;四、缺失值与异常值处理
缺失值处理需区分“真缺失”与“业务无此项”。例如，信用贷款本身无抵押物，其抵押价值缺失属于业务合理缺失，不应填充。而抵押物评估价值缺失则需追补或采用模型估算。
- 缺失值策略：业务合理缺失保留为空并增加标识字段；随机缺失采用中位数或同类型均值填充；关键字段缺失且无法追补的样本，建议剔除或降权。
- 异常值识别：抵押价值为负、评估日期晚于违约日期、担保金额超过债权余额数倍等均属异常。
- 异常值处理：先核实原始凭证，确属错误的修正；无法核实的采用盖帽法（Winsorize）或分箱处理，避免直接删除造成样本偏差。
切勿对抵押率（贷款余额/抵押价值）直接做全局盖帽，因为不同抵押品类型的合理区间差异很大。应按类型分组设定阈值。
五、数据质量评估方法
清洗完成后，需对数据质量进行量化评估，常用指标包括：
- 完整性：关键字段缺失率，建议抵押品类型、评估价值、评估日期缺失率低于5%。
- 一致性：跨系统同一字段的匹配率，如押品系统与信贷系统的抵押物编号一致率。
- 准确性：抽样核对评估价值与原始评估报告的一致比例。
- 时效性：评估日期与违约日期的间隔分布，超过12个月的评估值需谨慎使用。
- 唯一性：抵押物编号重复率，重复记录需合并或标记。
建议输出一份数据质量报告，包含各指标的计算公式、阈值和实际值，作为模型开发文档的必备附件。
六、案例与复盘：某银行押品数据清洗实践
某银行在LGD建模初期，直接使用押品系统导出的评估价值，结果模型对不动产回收率的估计偏高约15%。复盘发现三个问题：一是部分抵押物评估日期在违约之后，属于事后评估；二是同一抵押物在系统中存在多条记录，未去重导致价值重复计算；三是保证担保被误当作抵押担保计入回收。经过重新识别字段、按违约时点筛选有效评估、去重并区分担保方式后，回收率估计回归合理区间。
该案例说明，抵押担保数据清洗不是一次性任务，而应嵌入数据治理流程，定期监控质量指标，确保LGD模型的稳健性与可解释性。