云数据发现SDK接入敏感资产识别教程 - 第3节
3、SDK 支持的数据源类型
说到云数据发现 SDK 能扫描哪些数据源，我整理了一下，主要分四大类：对象存储、关系型数据库、非关系型数据库、大数据平台。你想想看，企业里的敏感资产跑不出这几个圈子。我个人习惯是先看客户现有的数据存储架构，再挑对应的接入方式。
我遇到过不少团队，一上来就想着把所有数据源都接上，结果光调试连接配置就花了好几天。其实没必要，先弄清楚你的敏感数据主要藏在哪一类里，再针对性地配置，效率高得多。
3.1 对象存储
对象存储是现在云上用得最广的存储形态。像 AWS S3、阿里云 OSS、华为云 OBS 这些，说白了就是一个大桶，里面装各种文件。SDK 扫描的时候，会遍历存储桶里的对象，然后做内容识别。
嗯，这里要注意：对象存储的扫描粒度是文件级别的。也就是说，你得先确定是扫描整个桶，还是只扫某个前缀路径。我建议在生产环境里，先扫小范围测试路径，没问题了再放开全桶扫描。
常见配置项
- 访问密钥：AccessKey / SecretKey 或临时凭证
- 端点地址：不同 Region 的 Endpoint 不一样，别写错了
- 存储桶名称：Bucket 名称，支持通配符 *
- 文件后缀过滤：比如只扫 .xlsx, .csv, .txt，减少无效开销
3.2 关系型数据库
关系型数据库里装的往往是结构化敏感数据，比如用户的身份证号、手机号、银行卡信息。SDK 支持 MySQL、PostgreSQL、SQL Server、Oracle 这些主流数据库。
连接方式一般是 JDBC 或者直接通过数据库驱动。扫描的时候，SDK 会自动遍历表结构，然后对每个字段进行敏感类型匹配。我记得有一次客户问：“为什么不直接扫全表数据？” 其实不是不扫，而是根据 采样策略 先抽一部分数据做识别，避免把整个数据库拖死。
| 数据库类型 | 默认端口 | 驱动包 |
|---|---|---|
| MySQL | 3306 | mysql-connector-java |
| PostgreSQL | 5432 | postgresql |
| SQL Server | 1433 | mssql-jdbc |
| Oracle | 1521 | ojdbc8 |
fetchSize，默认一次性拉回所有行，结果内存爆了。后来加了游标分批读取，才算搞定。你接入的时候一定记得配好批次大小。
3.3 非关系型数据库
非关系型数据库五花八门，文档型、键值型、图数据库等等。SDK 目前支持 MongoDB、Redis、Elasticsearch、HBase 这些常见类型。
这类数据源的结构不固定，所以扫描逻辑跟关系型不太一样。比如 MongoDB，SDK 会扫描每个集合里的文档，但文档里的字段可能不一样，得用 动态模式匹配。Redis 就更特殊了——它存的是键值对，SDK 只能遍历 key，然后根据 value 的类型（String、Hash、List）做内容识别。
为什么会这样？因为非关系型数据库没有固定的表结构，你没法像 MySQL 那样直接读取列元数据。所以 SDK 的工作方式更像“猜”，根据数据的实际内容推断敏感类型。我建议对非关系型数据源做扫描时，可以配合自定义特征规则，提高识别准确率。
3.4 大数据平台
大数据平台这块，常见的有 Hive、Spark SQL、MaxCompute（阿里云）、ClickHouse 等。这些平台本质上是分布式计算引擎，数据存在 HDFS 或 OSS 上，但通过 SQL 接口访问。
SDK 的接入思路是：先建立元数据连接（比如 Hive Metastore），拿到所有表的信息，再通过 SQL 查询做采样扫描。我经历过一个项目，Hive 表有上万个分区，如果一个个分区扫，一天都跑不完。后来我们只扫最近 7 天的分区数据，效果立竿见影。
对于 MaxCompute 这种云原生数仓，SDK 还会多一步 授权认证，需要配置子账号的访问令牌。你想想看，权限搞错了，要么扫不到数据，要么暴露了不该暴露的权限。
- Hive：依赖 Metastore 地址 + JDBC
- Spark SQL：通过 Thrift Server 连接
- MaxCompute：需要 Project 名称 + AccessKey
- ClickHouse：原生 HTTP/TCP 协议
// 伪代码示例：配置 Hive 数据源
DataSourceConfig config = new DataSourceConfig();
config.setType("HIVE");
config.setMetastoreUri("thrift://metastore-host:9083");
config.setDatabase("default");
config.setTablePattern("user_*");
config.setSampleRows(1000); // 每表采样 1000 行这段代码里 sampleRows 是个关键参数，控制每次采样的数据量。我之前遇到一个情况：一个表有几十亿行，采样行数设成 100000，结果扫描任务跑了半天没结束。后来改成 5000，识别准确率也没降多少，效率大幅提升。
整体数据源结构
下面这张图可以帮你快速理解 SDK 支持的四类数据源，以及它们之间的层级关系：
从图里能看出来，SDK 引擎是中心点，四种数据源像四个方向延伸出去。我个人建议，初次接入的时候，先选一种你最熟悉的数据源类型做验证，比如对象存储，因为它配置最简单、风险最低。等跑通全流程了，再逐步添加其他类型。