一、元数据基础：到底什么是元数据？

说实话，我入行头两年，一直觉得「元数据」是个挺玄乎的词。直到有一次做数据仓库迁移，业务方问我：「你们那个'客户活跃度'字段，到底是怎么算的？」我翻了半天文档，没人能说清楚。那一刻我才意识到——元数据不是理论，是救命的东西。

简单来说，元数据就是「关于数据的数据」。你拍了一张照片，照片本身是数据；但照片的拍摄时间、地点、相机型号、分辨率——这些就是元数据。没有它们，你只能看到像素，看不到上下文。

1.1 元数据的三种类型

我在实际项目中，习惯把元数据分成三类。这个分法不是拍脑袋，是踩过坑之后总结出来的。

类型	核心问题	典型内容	谁在用
技术元数据	数据长什么样？	表结构、字段类型、主键、索引、ETL 脚本、数据血缘	数据工程师、DBA
业务元数据	数据是什么意思？	业务定义、计算口径、指标说明、数据字典	数据分析师、业务方
管理元数据	数据怎么管？	数据所有者、访问权限、数据质量规则、生命周期	数据治理团队、安全管理员

举个例子。一张「订单表」：

• 技术元数据：字段 order_id 是 VARCHAR(32)，主键，索引在 order_time 上。
• 业务元数据：「订单金额」= 商品单价 × 数量，不含运费和优惠券。
• 管理元数据：该表由电商事业部维护，数据保留 3 年，仅限内部人员查询。

你看，缺了任何一类，这张表都没法用。我见过太多团队只盯着技术元数据，结果业务方跑来问「这个字段到底能不能用」，没人答得上来。

1.2 技术元数据：数据工程师的「地图」

技术元数据，说白了就是数据的「物理说明书」。它告诉你数据存在哪、长什么样、怎么来的。

常见的包括：

• 数据库元数据：表名、字段名、数据类型、约束、索引
• ETL 元数据：数据抽取规则、转换逻辑、加载频率、依赖关系
• 数据血缘：数据从源系统到目标表的完整链路
• 存储信息：数据量、分区信息、文件格式（Parquet/ORC/CSV）

-- 一个带完整技术元数据的建表示例
CREATE TABLE dwd_order_detail (
    order_id      VARCHAR(32)   COMMENT '订单ID，主键',
    user_id       VARCHAR(32)   COMMENT '用户ID，关联 dim_user',
    product_id    VARCHAR(32)   COMMENT '商品ID，关联 dim_product',
    order_amount  DECIMAL(10,2) COMMENT '订单金额 = 单价 × 数量，不含运费',
    order_time    DATETIME      COMMENT '下单时间，精确到秒',
    create_time   DATETIME      COMMENT '记录创建时间'
) COMMENT '订单明细事实表，每日增量更新'
PARTITIONED BY (dt STRING COMMENT '分区字段，格式 yyyy-MM-dd');

1.3 业务元数据：让数据「说人话」

技术元数据工程师看得懂，但业务方看不懂。这时候就需要业务元数据。

我曾经在一个项目中，发现「活跃用户」这个指标，技术团队和运营团队的理解完全不一样。技术团队按「7 天内登录过」算，运营团队按「30 天内有过购买行为」算。两边吵了三天，最后发现——缺一个统一的业务元数据定义。

业务元数据应该包含：

• 指标定义：计算口径、公式、排除规则
• 数据字典：字段的业务含义、取值范围、枚举说明
• 业务规则：数据产生的时间、更新频率、数据来源系统
• 使用指南：这个数据适合什么场景，不适合什么场景

1.4 管理元数据：数据的「身份证」和「户口本」

管理元数据，解决的是「谁负责、谁能用、怎么用」的问题。

主要包括：

• 数据所有权：谁创建、谁维护、谁审批变更
• 访问控制：谁可以读、谁可以写、谁可以导出
• 数据质量：质量规则、校验结果、问题记录
• 生命周期：数据创建时间、归档时间、销毁时间

举个例子。你在公司里查一张「客户信息表」，管理元数据会告诉你：

• 这张表由「客户数据组」维护，负责人是张三
• 只有风控部门和运营部门可以查询
• 数据每天凌晨 2 点更新，延迟不超过 30 分钟
• 数据保留 5 年，超过 5 年的自动归档到冷存储

没有管理元数据，数据就是「无主之地」。出了问题，你连找谁问都不知道。

1.5 元数据的核心价值

说了这么多，元数据到底有什么用？我总结为四点：

1. 可发现：你知道公司有哪些数据，存在哪，怎么找到它。
2. 可理解：你知道数据是什么意思，怎么算的，能不能用。
3. 可信任：你知道数据质量怎么样，谁负责，有没有问题。
4. 可治理：你知道数据怎么管，谁有权访问，生命周期怎么走。

1.6 元数据知识体系总览

下面这张图，是我自己梳理的元数据知识框架。每次给团队培训，我都会先画一遍。

嗯，这张图我画了好几个版本。核心想表达的是：三类元数据不是孤立的，它们共同支撑起数据的「可发现、可理解、可信任、可治理」。你缺了任何一块，数据治理都会出问题。