4. 数据资产盘点
数据资产盘点是数据分类分级工作的基石。只有全面、准确地掌握企业拥有哪些数据、数据在哪里、数据结构如何,才能进行有效的分类与分级。本节将深入讲解数据源发现、资产清单建立与元数据采集三大核心步骤。
4.1 数据源发现
数据源发现是盘点的第一步,目标是识别企业内所有可能存储数据的系统与位置。常见的数据源包括:
- 关系型数据库:MySQL、Oracle、SQL Server、PostgreSQL 等
- 非关系型数据库:MongoDB、Elasticsearch、Redis、HBase 等
- 文件存储:NAS、FTP、SharePoint、HDFS、对象存储(S3、OSS)
- 大数据平台:Hive、Spark、Kafka 消息队列
- SaaS 应用:CRM、ERP、HR 系统(通过 API 或导出)
- 日志与备份:服务器日志、数据库备份文件、归档数据
4.2 资产清单建立
在发现数据源后,需要建立标准化的数据资产清单。清单应包含以下关键字段:
| 字段名称 | 说明 | 示例 |
|---|---|---|
| 资产编号 | 唯一标识 | DA-2025-00123 |
| 数据源名称 | 系统/数据库名称 | 生产核心库 |
| 数据源类型 | 数据库/文件/API | MySQL 8.0 |
| 物理位置 | IP/域名/路径 | 10.0.1.100:3306 |
| 责任人 | 业务/技术负责人 | 张三 (zhangsan@xx.com) |
| 数据量级 | 记录数/存储大小 | 500GB / 1.2亿行 |
建立清单时建议遵循以下原则:
- 唯一性:每个数据源分配唯一资产编号,避免重复
- 完整性:覆盖所有已发现的数据源,不留盲区
- 可追溯:记录发现时间、扫描工具、版本信息
- 动态更新:建立变更流程,新数据源上线后及时入账
4.3 元数据采集
元数据是“关于数据的数据”,采集元数据是理解数据内容与结构的关键。元数据采集分为三个层次:
技术元数据采集通常通过连接数据库或文件系统自动获取,示例 SQL 如下:
-- MySQL 采集表结构元数据
SELECT
TABLE_NAME,
COLUMN_NAME,
DATA_TYPE,
CHARACTER_MAXIMUM_LENGTH,
IS_NULLABLE,
COLUMN_COMMENT
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_SCHEMA = 'your_database_name'
ORDER BY TABLE_NAME, ORDINAL_POSITION;
业务元数据需要人工补充或从数据字典导入,例如字段“id_card”应标记为“身份证号”,敏感级别为“高”。
管理元数据可通过审计日志或版本控制系统获取,记录数据资产的变更历史。
4.4 自动化采集架构建议
对于大型企业,建议搭建自动化元数据采集平台,架构示意如下:
通过上述架构,企业可以实现数据资产的持续发现、清单的动态维护以及元数据的自动化采集,为后续的数据分类分级打下坚实基础。
专注课程资料整理