2. 数据目录核心概念
说实话,很多团队一上来就急着搭平台、选工具,结果搞了几个月发现——连自己要管什么东西都没想清楚。我见过不少项目,工具换了好几轮,最后还是靠Excel在管。
为什么会这样?因为没把几个核心概念吃透。今天咱们就把这四个词掰开揉碎了讲清楚。
元数据:数据的说明书
元数据,说白了就是「关于数据的数据」。你想想看,超市里的商品都有标签——生产日期、保质期、产地。数据也一样,需要标签来说明自己是谁、从哪来、怎么用。
元数据的三个层次:
- 技术元数据:库名、表名、字段类型、长度、主键、索引。这是最基础的,DBA最爱看。
- 业务元数据:字段的业务含义、计算口径、数据来源系统。业务方真正关心的是这个。
- 管理元数据:谁创建的、谁负责、数据质量等级、访问权限。管数据的人离不开它。
我记得有一次帮一家金融客户做数据目录,他们有个字段叫「cust_type」,技术元数据里写的是varchar(2)。业务方看了半天不知道是啥。后来一查,原来是「客户类型」,0代表个人、1代表企业。这就是典型的业务元数据缺失。
我的习惯:建表的时候就把业务元数据写进注释里。别指望后面补,补不回来的。
数据血缘:数据从哪里来,到哪里去
数据血缘,就是数据的「族谱」。一条数据从源系统产生,经过ETL加工、报表计算,最后呈现在大屏上——这中间的每一步,都是血缘关系。
我遇到过最头疼的场景:业务方问「这个报表的数字怎么跟财务系统对不上?」如果没有血缘,你得从报表一层层往下翻,翻到ETL脚本,再翻到源表,运气好半天能定位到问题。运气不好?嗯,那就加班吧。
有了数据血缘,你点一下报表字段,就能看到它的完整链路:
- 源表字段 → 清洗逻辑 → 中间表字段 → 聚合计算 → 报表字段
- 每个环节的转换规则、责任人、更新时间
- 下游有哪些报表、模型依赖这个字段
避坑指南:我曾经见过一个团队,血缘图做得特别漂亮,但全是手动维护的。上线三个月就没人更新了。血缘一定要自动化采集,靠人工是走不远的。
数据血缘的价值,说白了就两件事:影响分析和问题溯源。上游表要改结构,先看看下游会不会炸;报表数据对不上,顺着血缘一路查下去。
数据资产:数据也是钱
数据资产这个概念,很多人觉得虚。但你想一下,公司花了几千万建数据平台,每天跑着几百个ETL任务,几十个人围着数据转——这些投入换来的东西,难道不是资产?
数据资产有三个特征:
| 特征 | 说明 | 举个例子 |
|---|---|---|
| 可控制 | 组织能管理和控制这些数据 | CRM系统的客户数据 |
| 可量化 | 能衡量其价值和成本 | 存储成本、计算成本、数据质量评分 |
| 可产生价值 | 能直接或间接带来收益 | 精准营销、风险控制、决策支持 |
我个人习惯把数据资产分成三类:
- 核心资产:客户信息、交易记录、产品数据。丢了公司就得停摆。
- 重要资产:经营报表、用户行为日志。没了会影响运营效率。
- 普通资产:临时表、测试数据、日志备份。丢了影响不大,但重建也麻烦。
数据目录的核心任务之一,就是把数据资产「盘清楚」。你连自己有什么数据都不知道,谈何治理?
数据分级分类:给数据贴标签
数据分级分类,就是给数据定「身份」和「级别」。身份决定怎么用,级别决定怎么保护。
数据分类
按业务维度分:
- 主题域分类:客户域、产品域、交易域、渠道域
- 系统来源分类:CRM系统、ERP系统、OA系统
- 数据类型分类:结构化数据、半结构化数据、非结构化数据
我建议分类别超过三级。分得太细,没人记得住;分得太粗,又没意义。三级刚刚好。
数据分级
按敏感程度分:
| 级别 | 定义 | 示例 | 管控要求 |
|---|---|---|---|
| L4 绝密 | 泄露会造成重大损失 | 用户密码、支付密钥 | 加密存储、严格审计 |
| L3 机密 | 泄露会造成较大损失 | 身份证号、手机号 | 脱敏展示、权限管控 |
| L2 内部 | 泄露会造成轻微影响 | 内部报表、组织架构 | 内部授权使用 |
| L1 公开 | 可对外公开 | 产品介绍、公开数据 | 无特殊管控 |
我的经验:分级标准一定要跟安全部门一起定。别自己拍脑袋,否则后面审计过不了。
四个概念的关系
这四个概念不是孤立的。我画了张图,你看一眼就明白了:
你看,元数据是地基。没有元数据,血缘画不出来,分类分不了,资产也盘不清。血缘和分类是两条腿,一个管「怎么来的」,一个管「怎么用」。最终目标都是让数据成为真正的资产。
一句话总结:
- 元数据告诉你「数据是什么」
- 数据血缘告诉你「数据从哪来、到哪去」
- 数据资产告诉你「数据值多少钱」
- 分级分类告诉你「数据该怎么管」
这四个概念,是数据目录的四大支柱。后面的章节,咱们会一个一个展开讲怎么落地。今天先把概念吃透,后面动手的时候才不会跑偏。