2. 数据目录核心概念

说实话,很多团队一上来就急着搭平台、选工具,结果搞了几个月发现——连自己要管什么东西都没想清楚。我见过不少项目,工具换了好几轮,最后还是靠Excel在管。

为什么会这样?因为没把几个核心概念吃透。今天咱们就把这四个词掰开揉碎了讲清楚。

元数据:数据的说明书

元数据,说白了就是「关于数据的数据」。你想想看,超市里的商品都有标签——生产日期、保质期、产地。数据也一样,需要标签来说明自己是谁、从哪来、怎么用。

元数据的三个层次:

  • 技术元数据:库名、表名、字段类型、长度、主键、索引。这是最基础的,DBA最爱看。
  • 业务元数据:字段的业务含义、计算口径、数据来源系统。业务方真正关心的是这个。
  • 管理元数据:谁创建的、谁负责、数据质量等级、访问权限。管数据的人离不开它。

我记得有一次帮一家金融客户做数据目录,他们有个字段叫「cust_type」,技术元数据里写的是varchar(2)。业务方看了半天不知道是啥。后来一查,原来是「客户类型」,0代表个人、1代表企业。这就是典型的业务元数据缺失。

我的习惯:建表的时候就把业务元数据写进注释里。别指望后面补,补不回来的。

数据血缘:数据从哪里来,到哪里去

数据血缘,就是数据的「族谱」。一条数据从源系统产生,经过ETL加工、报表计算,最后呈现在大屏上——这中间的每一步,都是血缘关系。

我遇到过最头疼的场景:业务方问「这个报表的数字怎么跟财务系统对不上?」如果没有血缘,你得从报表一层层往下翻,翻到ETL脚本,再翻到源表,运气好半天能定位到问题。运气不好?嗯,那就加班吧。

有了数据血缘,你点一下报表字段,就能看到它的完整链路:

  • 源表字段 → 清洗逻辑 → 中间表字段 → 聚合计算 → 报表字段
  • 每个环节的转换规则、责任人、更新时间
  • 下游有哪些报表、模型依赖这个字段

避坑指南:我曾经见过一个团队,血缘图做得特别漂亮,但全是手动维护的。上线三个月就没人更新了。血缘一定要自动化采集,靠人工是走不远的。

数据血缘的价值,说白了就两件事:影响分析和问题溯源。上游表要改结构,先看看下游会不会炸;报表数据对不上,顺着血缘一路查下去。

数据资产:数据也是钱

数据资产这个概念,很多人觉得虚。但你想一下,公司花了几千万建数据平台,每天跑着几百个ETL任务,几十个人围着数据转——这些投入换来的东西,难道不是资产?

数据资产有三个特征:

特征 说明 举个例子
可控制 组织能管理和控制这些数据 CRM系统的客户数据
可量化 能衡量其价值和成本 存储成本、计算成本、数据质量评分
可产生价值 能直接或间接带来收益 精准营销、风险控制、决策支持

我个人习惯把数据资产分成三类:

  • 核心资产:客户信息、交易记录、产品数据。丢了公司就得停摆。
  • 重要资产:经营报表、用户行为日志。没了会影响运营效率。
  • 普通资产:临时表、测试数据、日志备份。丢了影响不大,但重建也麻烦。

数据目录的核心任务之一,就是把数据资产「盘清楚」。你连自己有什么数据都不知道,谈何治理?

数据分级分类:给数据贴标签

数据分级分类,就是给数据定「身份」和「级别」。身份决定怎么用,级别决定怎么保护。

数据分类

按业务维度分:

  • 主题域分类:客户域、产品域、交易域、渠道域
  • 系统来源分类:CRM系统、ERP系统、OA系统
  • 数据类型分类:结构化数据、半结构化数据、非结构化数据

我建议分类别超过三级。分得太细,没人记得住;分得太粗,又没意义。三级刚刚好。

数据分级

按敏感程度分:

级别 定义 示例 管控要求
L4 绝密 泄露会造成重大损失 用户密码、支付密钥 加密存储、严格审计
L3 机密 泄露会造成较大损失 身份证号、手机号 脱敏展示、权限管控
L2 内部 泄露会造成轻微影响 内部报表、组织架构 内部授权使用
L1 公开 可对外公开 产品介绍、公开数据 无特殊管控

我的经验:分级标准一定要跟安全部门一起定。别自己拍脑袋,否则后面审计过不了。

四个概念的关系

这四个概念不是孤立的。我画了张图,你看一眼就明白了:

数据目录核心概念关系图 数据目录 元数据 数据的说明书 数据血缘 数据的族谱 数据资产 数据也是钱 分级分类 身份与级别 核心逻辑: 元数据是基础,没有元数据就谈不上血缘和分类。 血缘和分类是手段,最终目的是把数据管好、用好,让它真正成为资产。

你看,元数据是地基。没有元数据,血缘画不出来,分类分不了,资产也盘不清。血缘和分类是两条腿,一个管「怎么来的」,一个管「怎么用」。最终目标都是让数据成为真正的资产。

一句话总结:

  • 元数据告诉你「数据是什么」
  • 数据血缘告诉你「数据从哪来、到哪去」
  • 数据资产告诉你「数据值多少钱」
  • 分级分类告诉你「数据该怎么管」

这四个概念,是数据目录的四大支柱。后面的章节,咱们会一个一个展开讲怎么落地。今天先把概念吃透,后面动手的时候才不会跑偏。