4. 数据资产盘点

数据资产盘点是数据分类分级工作的基石。只有全面、准确地掌握企业拥有哪些数据、数据在哪里、数据结构如何,才能进行有效的分类与分级。本节将深入讲解数据源发现、资产清单建立与元数据采集三大核心步骤。

🔍 数据源发现 扫描网络、数据库、文件服务器 📋 资产清单建立 登记、分类、编号、责任人 📊 元数据采集 字段、类型、长度、描述 数据资产盘点核心流程

4.1 数据源发现

数据源发现是盘点的第一步,目标是识别企业内所有可能存储数据的系统与位置。常见的数据源包括:

  • 关系型数据库:MySQL、Oracle、SQL Server、PostgreSQL 等
  • 非关系型数据库:MongoDB、Elasticsearch、Redis、HBase 等
  • 文件存储:NAS、FTP、SharePoint、HDFS、对象存储(S3、OSS)
  • 大数据平台:Hive、Spark、Kafka 消息队列
  • SaaS 应用:CRM、ERP、HR 系统(通过 API 或导出)
  • 日志与备份:服务器日志、数据库备份文件、归档数据
扫描引擎 MySQL MongoDB NAS HDFS Kafka

4.2 资产清单建立

在发现数据源后,需要建立标准化的数据资产清单。清单应包含以下关键字段:

字段名称 说明 示例
资产编号 唯一标识 DA-2025-00123
数据源名称 系统/数据库名称 生产核心库
数据源类型 数据库/文件/API MySQL 8.0
物理位置 IP/域名/路径 10.0.1.100:3306
责任人 业务/技术负责人 张三 (zhangsan@xx.com)
数据量级 记录数/存储大小 500GB / 1.2亿行

建立清单时建议遵循以下原则:

  • 唯一性:每个数据源分配唯一资产编号,避免重复
  • 完整性:覆盖所有已发现的数据源,不留盲区
  • 可追溯:记录发现时间、扫描工具、版本信息
  • 动态更新:建立变更流程,新数据源上线后及时入账

4.3 元数据采集

元数据是“关于数据的数据”,采集元数据是理解数据内容与结构的关键。元数据采集分为三个层次:

🔧 技术元数据 字段名、数据类型、长度 主键、索引、约束 📈 业务元数据 业务定义、数据字典 敏感级别、合规要求 📋 管理元数据 创建时间、修改时间 访问权限、审计日志 元数据采集三层次 常用工具:Apache Atlas / DataHub / 自研采集器

技术元数据采集通常通过连接数据库或文件系统自动获取,示例 SQL 如下:

-- MySQL 采集表结构元数据
SELECT 
    TABLE_NAME,
    COLUMN_NAME,
    DATA_TYPE,
    CHARACTER_MAXIMUM_LENGTH,
    IS_NULLABLE,
    COLUMN_COMMENT
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_SCHEMA = 'your_database_name'
ORDER BY TABLE_NAME, ORDINAL_POSITION;

业务元数据需要人工补充或从数据字典导入,例如字段“id_card”应标记为“身份证号”,敏感级别为“高”。

管理元数据可通过审计日志或版本控制系统获取,记录数据资产的变更历史。

4.4 自动化采集架构建议

对于大型企业,建议搭建自动化元数据采集平台,架构示意如下:

MySQL Oracle HDFS API ...更多 元数据采集引擎(调度器 + 连接器) 元数据存储库(Elasticsearch / Neo4j)

通过上述架构,企业可以实现数据资产的持续发现、清单的动态维护以及元数据的自动化采集,为后续的数据分类分级打下坚实基础。


专注课程资料整理