2. 数据目录核心概念:元数据、数据资产、数据血缘、数据标签、数据分级分类

做数据目录建设,说白了就是给企业的数据资产建一本「字典」加一张「地图」。但这本字典里到底要记什么?地图上要标哪些东西?

我刚开始带团队做数据治理时,也踩过不少坑。最典型的就是——大家嘴上说的「元数据」根本不是同一个东西。业务说「元数据就是字段描述」,开发说「元数据就是建表语句」,老板说「元数据就是数据量统计」。

嗯,都不全对。咱们得先把这几个核心概念掰扯清楚。

2.1 元数据:数据的「身份证」

元数据(Metadata),字面意思就是「关于数据的数据」。听起来有点绕,你想想看——你手机里一张照片,除了像素点之外,还有拍摄时间、地点、相机型号、文件大小。这些额外信息就是元数据。

在企业数据目录里,元数据通常分三层:

层级 英文 包含内容 我见过的坑
技术元数据 Technical Metadata 库表结构、字段类型、主外键、分区信息、ETL脚本 只采集了建表DDL,没采集字段注释,结果业务看不懂
业务元数据 Business Metadata 业务定义、计算口径、数据来源、负责人、更新频率 业务口径写在Word里,跟实际数据对不上
管理元数据 Administrative Metadata 数据所有者、创建时间、访问权限、数据质量规则 权限信息没自动化采集,全靠人工维护

核心观点:元数据是数据目录的「骨架」。没有元数据,数据目录就是个空壳子。我个人习惯,项目启动第一件事就是先把技术元数据自动化采集跑通,再逐步补齐业务和管理元数据。

2.2 数据资产:能变现的才是资产

不是所有数据都能叫「资产」。我见过不少企业,把服务器上所有文件都登记成资产,结果目录里几万条记录,真正有人用的不到10%。

数据资产有三个硬性条件:

  • 拥有或控制——你有权使用它,不是从外面爬来的灰色数据
  • 能带来价值——要么能辅助决策,要么能驱动业务,要么能降低成本
  • 可计量——能评估它的质量、成本、收益

举个例子。你们公司的用户登录日志,每天几个TB。如果只是存着没人看,那叫「数据垃圾」。但如果有人用这些日志做用户行为分析、优化推荐策略、提升转化率,那它就是数据资产。

实战建议:在数据目录里给每个资产打一个「价值标签」——高频使用、低频使用、无人使用。每季度清理一次无人使用的「僵尸资产」。我曾经帮一家金融客户清理目录,砍掉了40%的无效资产,查询效率提升了3倍。

2.3 数据血缘:数据从哪里来,到哪里去

数据血缘(Data Lineage),就是数据的「族谱」。它记录了数据从产生、加工、流转到最终消费的全过程。

为什么需要它?我遇到过最典型的场景——报表里的一个指标突然对不上了。如果没有血缘,你得挨个查ETL脚本、查中间表、查源系统,运气好半天,运气不好一周。有了血缘,点一下就能看到:这个字段从哪个源表来,经过了哪些转换,被哪些下游应用消费。

血缘的粒度通常分三级:

  • 表级血缘:A表 → B表 → C表,知道数据流向
  • 字段级血缘:A.col1 + A.col2 → B.col3,精确到字段映射
  • SQL级血缘:解析ETL脚本里的SQL,自动构建字段级依赖

注意:血缘采集不是一次性的。ETL脚本改了、表结构变了,血缘就得跟着更新。我建议至少每天跑一次全量血缘解析,关键链路可以做到实时。

下面这张图展示了典型的数据血缘流转过程:

数据血缘流转示例 源系统 A 源系统 B ETL 加工层 清洗·转换·聚合 数据仓库 DWD 数据仓库 DWS 报表 / BI 字段级血缘示例: A.user_id + B.order_amt → DWD.用户订单

2.4 数据标签:给数据打上「关键词」

数据标签(Data Tag),就是给数据资产贴的「关键词」。它跟元数据最大的区别是——元数据是客观存在的属性,标签是主观赋予的维度。

举个例子。一张「用户订单表」,它的元数据包括字段名、类型、主键。但你可以给它打上这些标签:

  • 业务域标签:交易、电商、核心业务
  • 敏感度标签:PII(个人身份信息)、高敏感
  • 质量标签:已验证、待清洗、已废弃
  • 用途标签:报表、模型训练、实时风控

关键点:标签体系一定要跟业务对齐。我见过最失败的做法——IT部门自己拍脑袋定了一套标签,结果业务方根本看不懂。后来我们改成让业务负责人提标签需求,IT只负责技术实现,标签的活跃度提升了80%。

2.5 数据分级分类:安全合规的「红绿灯」

数据分级分类,说白了就是给数据定「级别」和「类别」。级别决定谁能看,类别决定怎么管。

分级通常按敏感程度来:

级别 典型数据 访问控制
L1 公开 产品介绍、公司新闻 全员可访问
L2 内部 内部报表、非敏感运营数据 内部员工可访问
L3 敏感 客户联系方式、交易明细 仅授权人员可访问
L4 绝密 核心算法、战略规划 极小范围授权 + 审计

分类则按业务领域来,比如:

  • 客户数据、产品数据、交易数据、财务数据、人力资源数据……
  • 每个大类下还可以细分,比如客户数据又分「基本信息」「行为数据」「偏好数据」

避坑指南:我曾经帮一家银行做数据目录,他们一开始把分级分类做得特别细——分了8级、50多个类别。结果呢?没人记得住,也没人执行。后来我们砍到4级、10个类别,配合自动化打标工具,落地效果反而好了。分级分类不是越细越好,够用就行。

2.6 五个概念的关系

这五个概念不是孤立的。我习惯用一个比喻来理解它们:

  • 元数据是「身份证」——记录数据的基本信息
  • 数据资产是「户口本」——登记哪些数据有价值
  • 数据血缘是「族谱」——追溯数据的来龙去脉
  • 数据标签是「关键词」——方便搜索和归类
  • 数据分级分类是「红绿灯」——控制谁能看、怎么管

在实际的数据目录建设中,这五者缺一不可。元数据是基础,没有它目录就是个空壳;数据资产是目标,没有它目录就是个摆设;血缘是纽带,没有它出了问题找不到根;标签是工具,没有它数据就不好找;分级分类是底线,没有它合规就过不了关。

我的建议:刚开始做数据目录,别想着一步到位。先搞定元数据采集和基础分级分类,再逐步补齐血缘和标签。等目录用起来了,再回头优化资产认定标准。迭代着来,比憋大招靠谱得多。