数据目录核心概念:元数据、数据血缘、数据分类、数据分级
做数据资产盘点,说白了就是搞清楚「我们到底有哪些数据、它们从哪来、该怎么管」。而数据目录,就是这一切的起点。我刚开始接触数据治理时,也以为数据目录就是个Excel清单,后来踩了不少坑才明白——没有元数据、血缘、分类、分级这四个支柱,目录就是个空壳子。
这一章,咱们把这四个核心概念掰开揉碎讲清楚。你理解透了,后面的盘点工作才能落地。
2.1 元数据:数据的「身份证」
元数据是什么?就是描述数据的数据。你想想看,如果一个人没有身份证,你怎么确认他是谁?数据也一样。
我在项目中遇到过最典型的场景:业务部门问「这个字段是什么意思?」,技术部门翻半天文档也说不清。为什么?因为元数据没管好。
元数据的三个层次:
- 技术元数据——库名、表名、字段类型、长度、主键、索引。这是DBA最熟悉的。
- 业务元数据——字段的业务含义、计算口径、枚举值说明。业务人员真正关心这个。
- 管理元数据——负责人、创建时间、更新频率、数据来源。用来追责和运维。
举个例子,一张订单表里的 status 字段:
技术元数据:字段类型 INT(2),允许 NULL
业务元数据:0=待支付,1=已支付,2=已取消,9=异常
管理元数据:负责人张三,更新频率 T+1,来源 ERP 系统
嗯,这里要注意——很多团队只管技术元数据,业务元数据全靠口头传。结果就是人员一变动,字段含义就丢了。我建议你在盘点初期,就把业务元数据作为必填项,宁可慢一点,也别留坑。
2.2 数据血缘:数据的「族谱」
数据血缘,就是记录数据从产生、加工到消费的完整链路。说白了,就是回答「这个数据从哪来、经过了哪些处理、最终去了哪」。
为什么需要血缘?我讲个真实案例。有一次上线后发现报表数据对不上,排查了三天,最后发现是上游一个ETL脚本改了字段映射,但下游完全不知情。如果有血缘关系图,这种问题十分钟就能定位。
血缘的三种粒度:
- 字段级血缘——最细粒度,能定位到某个字段的转换逻辑。比如
order.amount来自payment.actual_amount乘以汇率。 - 表级血缘——表与表之间的依赖关系。比如
dwd_order依赖ods_order和ods_payment。 - 系统级血缘——系统间的数据流转。比如 CRM → 数仓 → BI报表。
我曾经帮一家金融客户做盘点,他们的血缘全靠人工维护的Word文档,早就过时了。后来我们通过解析SQL脚本和ETL配置,自动构建了字段级血缘图。效果立竿见影——数据问题排查时间从平均2天缩短到2小时。
这里有个避坑指南:血缘不是一次性的。数据管道每天都在变,血缘必须持续更新。我建议你至少每周做一次血缘扫描,否则半年后它就变成一张废纸。
2.3 数据分类:给数据「分门别类」
数据分类,就是按照业务属性或技术特征,把数据划分到不同的类别中。目的是让数据更容易被找到、理解和使用。
我见过最糟糕的分类方式——按数据库实例分。结果就是业务人员根本不知道「ODS层」是什么鬼,他们只关心「客户信息」「交易记录」「产品目录」。
推荐的两层分类体系:
- 业务域分类——面向业务人员。例如:客户域、产品域、交易域、渠道域、风险域。
- 技术域分类——面向技术人员。例如:源系统层、贴源层、明细层、汇总层、应用层。
实际操作中,我建议先做业务域分类,再做技术域分类。因为盘点最终是为业务服务的,业务人员看不懂,盘点就白做了。
| 业务域 | 包含数据实体 | 典型用户 |
|---|---|---|
| 客户域 | 客户基本信息、客户画像、客户标签 | 市场部、销售部 |
| 交易域 | 订单、支付流水、退款记录 | 财务部、运营部 |
| 产品域 | 产品目录、定价、库存 | 产品部、供应链 |
| 风险域 | 风控规则、黑名单、异常交易 | 风控部、合规部 |
你想想看,如果业务人员打开数据目录,看到的是「客户域」「交易域」这种词,他们马上就知道去哪找数据。但如果看到的是「ods_cust_info」「dwd_trx_detail」,他们直接就懵了。
2.4 数据分级:给数据「定敏感度」
数据分级,就是根据数据的敏感程度和影响范围,划分不同的安全等级。目的是防止数据泄露和滥用。
我在项目中见过最惨的教训——某公司把所有数据都当成「内部公开」,结果客户手机号被实习生导出后卖给了竞争对手。后来一查,根本没人知道这些数据该归到哪个级别。
通用的四级分级标准:
- L1 公开级——可对外公开。如产品名称、门店地址。
- L2 内部级——仅限内部使用。如销售报表、运营指标。
- L3 敏感级——需严格控制。如客户手机号、身份证号。
- L4 绝密级——最高安全等级。如核心算法、战略规划。
分级不是拍脑袋定的。我建议你参考两个维度:
- 数据泄露的影响范围——个人、部门、公司、还是社会层面?
- 法律法规要求——比如《个人信息保护法》明确要求的敏感个人信息,至少定到L3。
嗯,这里有个实操技巧:分级结果一定要在数据目录中显式标注。我习惯在每个数据集的详情页顶部加一个醒目的级别标签,比如红色「L3-敏感级」,这样任何人使用数据前都能看到。
2.5 四个概念的关系
这四个概念不是孤立的。我画了一张图,帮你理清它们之间的关系:
从图上你能看到:元数据是基础,没有它其他三个都无从谈起;血缘让数据可追溯;分类让数据可查找;分级让数据可管控。四者缺一不可。
我的实操建议:
做盘点时,先搞定元数据采集,这是地基。然后同步梳理血缘关系,同时推进分类和分级。别想着一步到位,分阶段迭代更靠谱。我一般按「元数据 → 血缘 → 分类 → 分级」的顺序,每个阶段2-4周,4个月左右就能建成一个可用的数据目录。