2、数据资产盘点:范围界定、方法与工具选择

数据资产盘点,说白了就是搞清楚你家底有多少、在哪、长什么样。我见过不少团队,一上来就铺开摊子大干,结果盘了三个月,连自己有多少数据库都说不清。嗯,这里有个关键问题——你得先知道盘什么、怎么盘、用什么盘。

2.1 盘点范围界定:别想一口吃成胖子

很多数据治理项目失败,不是因为技术不行,而是范围没划好。我早期带过一个项目,老板说“把所有数据都盘一遍”,结果团队干了半年,产出就是一张Excel表,还全是错的。

界定范围,我建议你从三个维度切分:

维度 说明 典型问题
业务域 按业务流程或部门划分,如客户域、产品域、订单域 跨域数据归属不清,重复盘点
数据层级 操作层、分析层、报表层、外部数据层 只盘了操作层,忽略了分析层的关键指标
优先级 核心资产 vs 一般资产 vs 待废弃资产 什么都想盘,资源不够用
我的经验:第一次盘点,只选2-3个核心业务域。比如电商公司,先盘“订单域”和“用户域”。把这两个域盘清楚了,后面再扩展。别贪多,贪多嚼不烂。

范围界定还有一个容易踩的坑——“数据资产”不等于“所有数据”。你想想看,那些临时表、测试数据、过期备份,算资产吗?我个人认为,只有满足“有价值、可管控、可共享”这三个条件的数据,才值得纳入盘点范围。

2.2 盘点方法:自上而下 vs 自下而上

方法就两种,但很多人用反了。我分别说说。

2.2.1 自上而下:先画地图再找路

这种方法,是从业务视角出发。先梳理业务流程,画出数据流转图,再定位每个环节产生了哪些数据资产。

适合场景:

  • 公司有清晰的业务流程文档
  • 业务部门愿意配合
  • 需要快速建立数据资产全景视图

具体步骤:

  1. 梳理核心业务流程(比如从获客到成交到售后)
  2. 识别每个流程节点产生的数据实体
  3. 定义每个实体的Owner、系统来源、存储位置
  4. 形成业务-数据映射矩阵

优点:速度快,能快速对齐业务语言。业务人员看得懂,愿意签字确认。

缺点:容易遗漏底层细节数据,比如日志、中间表、ETL临时数据。

2.2.2 自下而上:从数据库里翻家底

这种方法,是从技术视角出发。直接扫描数据库、数据仓库、文件服务器,把所有的表、字段、文件都列出来,再反向打标签。

适合场景:

  • 业务流程不清晰,文档缺失
  • 系统老旧,没人说得清数据在哪
  • 需要做数据血缘分析

具体步骤:

  1. 连接所有数据源(数据库、HDFS、对象存储等)
  2. 自动扫描元数据(表名、字段名、类型、行数)
  3. 人工打标签,归类到业务域
  4. 去重、合并、标记废弃数据
我曾经踩过的坑:自下而上盘出来的数据量会非常大。有一次我盘了一个中型公司的数仓,光表就有8000多张。如果不做过滤,你根本分不清哪些是核心资产,哪些是垃圾。所以一定要先做“数据分级”,比如按访问频率、数据量、关联度打分,只盘Top 20%的表。

2.2.3 两种方法怎么选?

说实话,没有的好坏。我现在的习惯是“自上而下定框架,自下而上填内容”。

先用自上而下的方法,画出业务数据地图,确定要盘哪些域。然后用自下而上的方法,从系统里拉出实际的数据清单,跟地图做比对。对不上的,要么是地图画漏了,要么是系统里有垃圾数据。

下面这张图,是我常用的盘点流程:

数据资产盘点双轨流程 数据资产盘点双轨流程 自上而下:业务驱动 梳理业务流程 识别数据实体 定义Owner与系统 自下而上:技术驱动 扫描数据源 自动采集元数据 人工打标签归类 比对校准 → 形成资产目录 建议:先自上而下定框架,再自下而上填内容,最后比对校准

2.3 盘点工具选择:别用手工Excel了

我见过最离谱的,是有人用Excel管理8000张表的元数据。结果呢?版本混乱、字段对不上、Owner信息过期。你想想看,这能叫治理吗?

工具选型,我一般看三个维度:

维度 关键考量 推荐方向
自动化能力 能否自动扫描数据库、识别表结构、采集血缘 选支持JDBC/ODBC直连的工具
协作能力 业务人员能否直接打标签、提问题、确认Owner 选有Web界面、支持多人协作的
集成能力 能否对接数据质量平台、数据目录、数据地图 选有开放API的,别选封闭系统
我的建议:小团队(50人以下)可以先从开源工具入手,比如Apache Atlas、Amundsen。大团队(200人以上)直接上商业产品,比如Alation、Collibra。别在工具上省钱,但也别过度采购——我见过买了Collibra只用了个目录功能的,纯属浪费。

工具选好了,怎么落地?我分享一个三步走的方法:

  1. 试点期(1-2周):选一个业务域,用工具跑一遍。验证自动化扫描的准确率,让业务人员试用打标签功能。
  2. 推广期(1-2个月):扩展到所有核心业务域。建立元数据采集的定时任务,每天增量更新。
  3. 运营期(持续):建立资产目录的维护机制。每周检查新增表、废弃表,更新Owner信息。
注意:工具只是辅助,别指望工具能解决所有问题。我见过一个团队,买了最贵的工具,结果没人愿意用。为什么?因为业务人员觉得打标签太麻烦,技术人员觉得工具太慢。所以工具选型一定要让最终用户参与决策,别让采购部门拍脑袋。

最后说一句,盘点不是一次性工作。数据资产是活的,系统在变、业务在变、人在变。我建议每季度做一次增量盘点,每年做一次全面盘点。只有这样,你的资产目录才不会变成一堆没人看的死文档。