企业数据资产盘点:从"有什么"到"管什么"

数据资产盘点,说白了你得先知道自己家里到底有多少东西。我见过不少团队,分类分级标准写得天花乱坠,结果一问数据在哪、长什么样、谁管的——全懵。这就好比你要收拾房间,但连柜子里有啥都不清楚。

这一章我们聊聊盘点的四个核心动作。嗯,每个动作都有坑,我这些年踩过不少。

盘点范围确定:别贪大,也别漏掉关键

你想想看,一个中型企业光数据库就得几十上百个,更别提文件服务器、SaaS应用、员工电脑里的Excel。全盘?不现实。我个人习惯分成两步走。

第一步:划定边界

  • 业务域边界:核心业务系统(CRM、ERP、HRM)必须纳入。边缘系统(测试环境、临时项目组)可以暂缓。
  • 数据域边界:客户数据、财务数据、生产数据优先。行政通知、内部论坛这类非结构化内容,放后一批。
  • 环境边界:生产环境全量覆盖。预发布、测试环境只采集样本,用于验证流程。

第二步:明确排期

我建议分三批:第一批1个月内搞定核心交易系统;第二批2个月内扩展到周边系统;第三批3-6个月覆盖剩余部分。别想着一步到位,你会被业务部门骂死。

我曾经碰过一个客户,上来就要盘点全集团2000多个系统。结果团队干了半年,连第一个系统的元数据都没采全。为什么?因为系统的负责人压根不知道数据在哪。后来改成按业务线分批推进,三个月反而走完了。

数据源梳理:理清"数据从哪里来"

确定范围后,你要把数据源的脉络画出来。这一步说白了就是搞清楚:数据产生于哪个系统?存储在哪里?流向了哪里?

梳理清单模板

维度 内容示例 采集方式
数据源名称 MySQL生产库(订单域) 人工登记
数据库类型 MySQL 8.0 / Oracle 19c CMDB自动采集
业务系统 ERP / CRM / 自研WMS 应用架构图映射
网络位置 /16 / 公网 / VPN 网络拓扑扫描
负责人 张三 / 李四团队 组织架构表确认

嗯,这里要注意:很多团队只登记系统名,漏了负责人。等你后面想确认字段含义,找谁去?

元数据采集:给数据做"身份证"

元数据,说白了就是关于数据的数据。你想想看,一张订单表,字段名叫order_id,你得知道它的类型是int还是varchar,长度多少,有没有默认值。这些就是元数据。

技术采集合约

我建议优先使用自动化工具。比如Apache Atlas、DataHub或者自研的采集引擎。它们能直连数据库,直接拉取表结构、字段、索引、主外键。

举个例子,采集MySQL元数据的核心SQL:

SELECT 
  TABLE_NAME,
  COLUMN_NAME,
  DATA_TYPE,
  CHARACTER_MAXIMUM_LENGTH,
  IS_NULLABLE,
  COLUMN_DEFAULT,
  COLUMN_COMMENT
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_SCHEMA = 'your_database';

跑完这段,你会拿到一张表的所有字段清单。但这还不够——我习惯再加上字段的采样统计:比如每个字段的空值率、唯一值数量、值分布。这些信息对后续的分级很有用。

一个小技巧:元数据采集不要只采结构信息。你最好同时采集:
· 字段注释(如果没有,得让业务方补)
· 最近一次DDL时间(判断表是否活跃)
· 数据行数(大表分级要重点考虑)

采集频次建议

  • 初始盘点:一次性全量采集
  • 日常更新:每周增量采集(只变动的表和DDL)
  • 重大变更:系统上线/重构后,触发重新采集

资产清单模板设计:把散落的数据串起来

元数据采集回来后,你要把它们装进一个标准化的"柜子"——也就是资产清单。这个模板的设计,直接影响后续分类分级的可操作性。

核心字段定义

字段分组 字段名 说明
基础信息 资产编号 唯一标识,如 DATA-2024-00001
基础信息 数据源名称 来自数据源梳理结果
基础信息 表名 数据库中物理表名或视图名
技术元数据 字段列表 JSON字符串,包含字段名、类型、注释
技术元数据 数据量级 行数 + 存储空间(MB)
管理元数据 系统负责人 目前谁在维护
管理元数据 数据领域 客户 / 产品 / 财务 / 生产
分级字段 敏感等级 1-5级,初始默认3级

嗯,这里有个关键点:分级字段要预留。我见过有人把分级写死到系统字段里,后面想调级得改数据库结构。更好的做法是用独立的配置表或字段,允许管理员手动调整。

我个人的习惯:资产清单模板里一定加两列——"上次变更时间"和"数据质量评分"。前者帮你判断数据是否过时需要重新盘点,后者在后续分级时能起到参考作用:脏数据的敏感级别可以适当降权。

一张图看懂企业数据资产盘点流程

我把上面四个步骤串成一张流程图。你保存下来,做项目时可以直接参考。

企业数据资产盘点四步流程 企业数据资产盘点流程 ① 盘点范围确定 ② 数据源梳理 ③ 元数据采集 ④ 资产清单模板 核心交付物 1. 盘点范围清单(业务域 × 数据环境 × 优先级) 2. 数据源梳理表(系统名 + 负责人 + 网络位置) 3. 元数据采集报告(表结构 + 字段采样 + 变更历史)

这张图的核心逻辑是:先框定范围,顺着范围把数据源摸清楚,然后自动采集元数据,最后结构化地存入资产清单。四个步骤环环相扣,缺一个都会导致后面分类分级跑偏。

如果你刚开始做,我建议这样启动:
· 选一个核心业务系统(比如CRM)
· 按上述四步走一遍,大概花1-2周
· 走通后总结文档,再推广到其他系统
· 千万别上来就想所有系统同步推进——你会被各种异常搞崩溃