4. Unity Catalog 详解：Databricks 统一治理方案

Unity Catalog 是 Databricks 在 2021 年推出的统一数据治理方案。说实话，在它出现之前，Databricks 上的权限管理挺混乱的——Hive Metastore 一套、Delta Sharing 一套、工作空间级别的 ACL 又是一套。我最早接触 Unity Catalog 是在一个金融客户的项目里，他们要求对敏感客户表做列级脱敏，老方案根本搞不定。嗯，Unity Catalog 就是来解决这类问题的。

4.1 三层级命名空间：Catalog / Schema / Table

Unity Catalog 最直观的变化，就是引入了三层级命名空间。传统 Hive 是 db.table，现在变成了 catalog.schema.table。你想想看，多了一层 Catalog，隔离能力就完全不一样了。

我个人习惯把 Catalog 对应到「环境」。比如 dev_catalog 给开发用，prod_catalog 给生产用。这样权限在 Catalog 级别就能一刀切死，省心很多。

-- 创建 Catalog
CREATE CATALOG IF NOT EXISTS dev_catalog;

-- 在 Catalog 下创建 Schema
CREATE SCHEMA IF NOT EXISTS dev_catalog.finance;

-- 创建表
CREATE TABLE dev_catalog.finance.transactions (
  tx_id STRING,
  amount DECIMAL(10,2),
  user_id STRING,
  tx_date DATE
) USING DELTA;

-- 查询时必须写全路径
SELECT * FROM dev_catalog.finance.transactions;

4.2 细粒度权限控制

Unity Catalog 的权限模型比传统 Hive 细得多。它支持从 Catalog 级别一直控制到列级别。我遇到过最典型的场景是：同一张表，财务能看到金额列，客服只能看到用户 ID 和日期。这在 Unity Catalog 里一条 SQL 就能搞定。

权限体系分三层：

• 管理员层：ACCOUNT_ADMIN 管整个账号，METASTORE_ADMIN 管元数据
• Catalog 层：CREATE CATALOG、USE CATALOG、CREATE SCHEMA
• 数据对象层：SELECT、MODIFY、READ_METADATA 等

-- 列级权限示例
GRANT SELECT ON TABLE dev_catalog.finance.transactions
  TO `finance_team`;
-- 财务团队能看到所有列

GRANT SELECT (tx_id, user_id, tx_date) 
  ON TABLE dev_catalog.finance.transactions
  TO `support_team`;
-- 客服团队只能看到三列，amount 被隐藏

-- 行级过滤（通过视图实现）
CREATE VIEW dev_catalog.finance.transactions_v AS
SELECT * FROM dev_catalog.finance.transactions
WHERE tx_date >= current_date() - INTERVAL 30 DAYS;

GRANT SELECT ON VIEW dev_catalog.finance.transactions_v
  TO `analyst_team`;

4.3 Lineage 追踪

Lineage（数据血缘）是 Unity Catalog 的杀手级功能。它能自动记录数据从哪里来、经过什么转换、最终去了哪里。我当年做数据审计时，合规部门问「这张报表的某个字段来源是哪张原始表」，如果没有 Lineage，得翻半天 ETL 代码。有了 Unity Catalog，直接在 UI 上点一下就能看到。

Lineage 分两种：

• 表级 Lineage：记录表与表之间的依赖关系
• 列级 Lineage：精确到某个字段的映射关系

它自动捕获以下操作：

• INSERT INTO / MERGE INTO 写入操作
• CREATE TABLE AS SELECT 创建表
• Delta Live Tables (DLT) 的流式处理
• Notebook 中的 Spark SQL 查询

-- 通过系统表查询 Lineage
-- 查看某个表的上游依赖
SELECT * FROM system.access.table_lineage
WHERE target_table_name = 'dev_catalog.finance.report_daily'
  AND lineage_type = 'UPSTREAM';

-- 查看某个表的下游影响
SELECT * FROM system.access.table_lineage
WHERE source_table_name = 'dev_catalog.finance.transactions'
  AND lineage_type = 'DOWNSTREAM';

4.4 Unity Catalog 核心架构图

下面这张图展示了 Unity Catalog 的核心组件和交互流程。我把它画成了三层结构，方便你理解数据请求是怎么被拦截和审计的。

4.5 实际项目中的避坑指南

Unity Catalog 虽然强大，但也不是银弹。我总结几个实际踩过的坑：

• Catalog 迁移要谨慎：从 Hive Metastore 迁移到 Unity Catalog 时，表路径不能变。我曾经因为改了存储路径，导致历史数据全部不可读。建议先用 SYNC 命令做一次全量同步，验证无误后再切换。
• 权限继承要理解清楚：Catalog 的权限不会自动继承到 Schema 和 Table。如果你在 Catalog 级别给了 USE CATALOG，用户只能看到 Catalog 名字，看不到里面的表。需要单独给 Schema 和 Table 授权。
• Lineage 不是实时的：Lineage 信息有几分钟的延迟。如果你刚跑完一个任务就去查 Lineage，可能看不到。等 5 分钟再查比较稳妥。
• 外部表要手动注册：Unity Catalog 不会自动发现已有的 Delta 表。你需要用 CREATE TABLE ... USING DELTA LOCATION '...' 手动注册。我建议写个自动化脚本，定期扫描存储路径并注册新表。