3. 数据映射核心概念
在监管报送场景中,数据映射是连接“业务事实”与“监管口径”的桥梁。它决定了源系统里的一笔交易、一个客户属性,最终如何变成监管报表中的某个单元格。如果映射关系模糊或缺失,血缘追踪就无从谈起,报表数据也无法自证其来源。本节围绕数据映射的定义、类型、规则、文档与管理五个核心概念展开,为后续的映射设计与血缘落地打下基础。
一、数据映射的定义与本质
数据映射(Data Mapping)是指建立源数据项与目标数据项之间对应关系的过程。在监管报表语境下,它具体描述为:从源系统的物理字段出发,经过清洗、转换、聚合、口径调整等处理,最终落到监管报表某一指标项上的完整对应规则。
数据映射的本质包含三个层次:结构对应(字段与字段的对应)、语义对应(业务含义与监管定义的对应)、计算对应(加工逻辑与口径公式的对应)。只有三层同时明确,映射才算完整。例如“贷款五级分类”在源系统中可能是代码值,在监管报表中需要展开为正常、关注、次级、可疑、损失五类余额,这既是结构映射,也是语义和计算映射。
核心原理:数据映射不是简单的“字段对字段”,而是“源字段 + 转换规则 + 目标指标”的三元组。缺少转换规则的映射,只是字段清单,不是可执行的映射。
二、映射的三种类型
根据映射对象的粒度不同,监管报表数据映射通常分为字段级、表级和系统级三类。三者层层递进,共同构成完整的映射体系。
- 字段级映射:最细粒度,描述单个源字段到单个目标字段或指标的对应关系,包含数据类型转换、代码值转换、计算公式等。它是血缘追踪的最小单元。
- 表级映射:描述一张源表到一张目标表(或报表分区)的整体对应关系,通常由多个字段级映射组成,并附加过滤条件、关联关系和时间口径。
- 系统级映射:描述源系统与目标报送系统之间的整体数据流向,包括接口、批量任务、报送频率和责任边界,是跨系统血缘的顶层视图。
三类映射的关系可以用下面的结构图直观理解:系统级确定“从哪来到哪去”,表级确定“哪张表喂哪张表”,字段级确定“哪个字段变成哪个指标”。
三、映射规则:从对应关系到可执行逻辑
映射规则是数据映射的核心内容,它把“对应关系”变成“可执行逻辑”。一条完整的映射规则通常包含以下要素:
- 源对象:源系统、源表、源字段,必要时包含过滤条件。
- 目标对象:目标报表、目标表、目标指标项。
- 转换逻辑:直接赋值、类型转换、代码值映射、公式计算、聚合汇总、多表关联等。
- 口径说明:业务含义、统计范围、时间口径、币种和单位。
- 异常处理:空值、脏数据、映射失败时的默认策略。
下面是一段典型的字段级映射规则配置示例,采用类 YAML 结构表达,便于后续工具解析和血缘采集:
mapping_id: MAP_LOAN_BAL_001
source:
system: CORE_BANKING
table: T_LOAN_ACCOUNT
field: LOAN_BALANCE
filter: "STATUS = 'A' AND DATA_DT = ${biz_date}"
target:
report: 1104_G01
item: 各项贷款余额
table: RPT_G01_LOAN
transform:
type: DIRECT
formula: "SUM(LOAN_BALANCE)"
unit: 万元
precision: 2
exception:
null_policy: ZERO
fail_policy: WARN
映射规则的质量直接决定血缘追踪的精度。规则越明确,血缘链路越清晰;规则含糊,血缘就只能停留在表级,无法定位到字段。
四、映射文档与映射管理
映射文档是映射规则的载体,也是监管检查、系统改造和人员交接的重要依据。一份合格的映射文档至少应包含:映射编号、源系统与源字段、目标报表与指标、转换逻辑、口径说明、责任人、版本号和生效日期。
映射管理则是对映射关系全生命周期的治理,包括建立、评审、发布、变更、废止和审计。在监管报送中,映射变更往往意味着口径变化,必须走变更流程并同步更新血缘关系。下表给出映射文档的核心字段清单:
| 字段 | 说明 | 是否必填 |
|---|---|---|
| 映射编号 | 唯一标识,用于血缘引用和变更追踪 | 是 |
| 源系统/源表/源字段 | 定位数据来源,支持字段级血缘 | 是 |
| 目标报表/指标 | 定位监管报送目标 | 是 |
| 转换逻辑 | 公式、代码映射、聚合方式等 | 是 |
| 口径说明 | 业务定义、统计范围、时间口径 | 是 |
| 异常处理 | 空值、脏数据、失败策略 | 否 |
| 责任人/版本/生效日期 | 变更管理和审计依据 | 是 |
五、常见误区与复盘
误区一:只做字段对应,不做规则沉淀。很多团队用 Excel 维护“源字段—目标字段”清单,却没有记录转换公式和口径。一旦源系统升级或监管口径调整,映射无法复用,血缘断裂。
误区二:映射文档与代码脱节。文档写一套,ETL 脚本写另一套,导致血缘追踪结果与实际数据不一致。应尽量让映射规则可被工具解析,并与作业调度关联。
误区三:忽视系统级映射。只关注字段级映射,忽略系统间接口和批量任务,导致跨系统血缘无法串联,出现“数据从哪来”说不清的情况。
复盘建议:建立映射时,先画系统级数据流,再落到表级,最后细化到字段级;每一条字段级映射都必须能回答“源字段是什么、怎么算、落到哪个指标、出错怎么办”四个问题。映射文档应纳入版本管理,变更时同步更新血缘,确保监管检查时能够快速举证。