企业数据资产盘点:从"有什么"到"管什么"
数据资产盘点,说白了你得先知道自己家里到底有多少东西。我见过不少团队,分类分级标准写得天花乱坠,结果一问数据在哪、长什么样、谁管的——全懵。这就好比你要收拾房间,但连柜子里有啥都不清楚。
这一章我们聊聊盘点的四个核心动作。嗯,每个动作都有坑,我这些年踩过不少。
盘点范围确定:别贪大,也别漏掉关键
你想想看,一个中型企业光数据库就得几十上百个,更别提文件服务器、SaaS应用、员工电脑里的Excel。全盘?不现实。我个人习惯分成两步走。
第一步:划定边界
- 业务域边界:核心业务系统(CRM、ERP、HRM)必须纳入。边缘系统(测试环境、临时项目组)可以暂缓。
- 数据域边界:客户数据、财务数据、生产数据优先。行政通知、内部论坛这类非结构化内容,放后一批。
- 环境边界:生产环境全量覆盖。预发布、测试环境只采集样本,用于验证流程。
第二步:明确排期
我建议分三批:第一批1个月内搞定核心交易系统;第二批2个月内扩展到周边系统;第三批3-6个月覆盖剩余部分。别想着一步到位,你会被业务部门骂死。
数据源梳理:理清"数据从哪里来"
确定范围后,你要把数据源的脉络画出来。这一步说白了就是搞清楚:数据产生于哪个系统?存储在哪里?流向了哪里?
梳理清单模板
| 维度 | 内容示例 | 采集方式 |
|---|---|---|
| 数据源名称 | MySQL生产库(订单域) | 人工登记 |
| 数据库类型 | MySQL 8.0 / Oracle 19c | CMDB自动采集 |
| 业务系统 | ERP / CRM / 自研WMS | 应用架构图映射 |
| 网络位置 | /16 / 公网 / VPN | 网络拓扑扫描 |
| 负责人 | 张三 / 李四团队 | 组织架构表确认 |
嗯,这里要注意:很多团队只登记系统名,漏了负责人。等你后面想确认字段含义,找谁去?
元数据采集:给数据做"身份证"
元数据,说白了就是关于数据的数据。你想想看,一张订单表,字段名叫order_id,你得知道它的类型是int还是varchar,长度多少,有没有默认值。这些就是元数据。
技术采集合约
我建议优先使用自动化工具。比如Apache Atlas、DataHub或者自研的采集引擎。它们能直连数据库,直接拉取表结构、字段、索引、主外键。
举个例子,采集MySQL元数据的核心SQL:
SELECT
TABLE_NAME,
COLUMN_NAME,
DATA_TYPE,
CHARACTER_MAXIMUM_LENGTH,
IS_NULLABLE,
COLUMN_DEFAULT,
COLUMN_COMMENT
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_SCHEMA = 'your_database';
跑完这段,你会拿到一张表的所有字段清单。但这还不够——我习惯再加上字段的采样统计:比如每个字段的空值率、唯一值数量、值分布。这些信息对后续的分级很有用。
· 字段注释(如果没有,得让业务方补)
· 最近一次DDL时间(判断表是否活跃)
· 数据行数(大表分级要重点考虑)
采集频次建议
- 初始盘点:一次性全量采集
- 日常更新:每周增量采集(只变动的表和DDL)
- 重大变更:系统上线/重构后,触发重新采集
资产清单模板设计:把散落的数据串起来
元数据采集回来后,你要把它们装进一个标准化的"柜子"——也就是资产清单。这个模板的设计,直接影响后续分类分级的可操作性。
核心字段定义
| 字段分组 | 字段名 | 说明 |
|---|---|---|
| 基础信息 | 资产编号 | 唯一标识,如 DATA-2024-00001 |
| 基础信息 | 数据源名称 | 来自数据源梳理结果 |
| 基础信息 | 表名 | 数据库中物理表名或视图名 |
| 技术元数据 | 字段列表 | JSON字符串,包含字段名、类型、注释 |
| 技术元数据 | 数据量级 | 行数 + 存储空间(MB) |
| 管理元数据 | 系统负责人 | 目前谁在维护 |
| 管理元数据 | 数据领域 | 客户 / 产品 / 财务 / 生产 |
| 分级字段 | 敏感等级 | 1-5级,初始默认3级 |
嗯,这里有个关键点:分级字段要预留。我见过有人把分级写死到系统字段里,后面想调级得改数据库结构。更好的做法是用独立的配置表或字段,允许管理员手动调整。
一张图看懂企业数据资产盘点流程
我把上面四个步骤串成一张流程图。你保存下来,做项目时可以直接参考。
这张图的核心逻辑是:先框定范围,顺着范围把数据源摸清楚,然后自动采集元数据,最后结构化地存入资产清单。四个步骤环环相扣,缺一个都会导致后面分类分级跑偏。
· 选一个核心业务系统(比如CRM)
· 按上述四步走一遍,大概花1-2周
· 走通后总结文档,再推广到其他系统
· 千万别上来就想所有系统同步推进——你会被各种异常搞崩溃