数据资产盘点与分类:如何识别待下线资产?
说实话,很多团队一上来就问:「哪些数据该删?」
这是个好问题,但顺序错了。我个人的习惯是——先搞清楚你手里到底有什么,再谈删不删。没有盘点的下线治理,就是盲人摸象。
盘点的三个核心维度
我在项目中遇到过不少这样的情况:业务方说「这个表没用」,结果一查,下游还有三个报表在引用。所以,识别待下线资产不能只凭感觉,得靠数据说话。
我一般从三个维度来给资产打分:
- 使用频率——这数据被调用的次数多不多?
- 访问热度——最近一段时间,谁在访问?访问量多大?
- 业务价值——这数据支撑了什么核心业务?没了它行不行?
你想想看,这三个维度一交叉,基本就能把资产分成几大类了。
核心原则:只有三个维度都低的资产,才值得优先考虑下线。任何一个维度偏高,都要谨慎处理。
基于使用频率的分类
使用频率是最直观的指标。说白了,就是看这数据「有没有人用」。
我习惯把使用频率分成三个等级:
| 等级 | 定义 | 典型特征 |
|---|---|---|
| 高频 | 每日/每周被调用 | 核心报表、实时接口、频繁ETL依赖 |
| 低频 | 每月/每季度被调用 | 月度报表、临时分析、归档查询 |
| 僵尸 | 超过90天无调用 | 历史项目遗留、废弃接口、无人维护的表 |
嗯,这里要注意——「僵尸」不等于「可以删」。我曾经遇到过一张表,半年没人查过,结果它是某个合规审计的底表,只是审计周期是一年一次。所以,频率只是参考,不能当唯一标准。
基于访问热度的分类
访问热度跟使用频率有点像,但侧重点不同。频率看的是「次数」,热度看的是「量级」和「趋势」。
举个例子:一张表每天被调用一次,但每次调用扫描全表10亿行数据——这叫低频高热度。另一张表每小时被调用100次,但每次只查一条记录——这叫高频低热度。
我个人习惯用这样的矩阵来判断:
| 热度类型 | 判断标准 | 下线优先级 |
|---|---|---|
| 高热 | 日均扫描量 > 1TB 或 并发 > 100 | 极低(可能是核心资产) |
| 温热 | 日均扫描量 100GB ~ 1TB | 中等(需进一步评估) |
| 低热 | 日均扫描量 < 100GB 且 并发 < 10 | 较高(可考虑归档) |
| 冰冷 | 连续30天无任何访问记录 | 最高(优先评估下线) |
一个小技巧:别只看平均值。我见过一些表平时没流量,月底突然暴增。建议同时看P99和P50,避免被「平均主义」误导。
基于业务价值的分类
这个维度最难量化,但恰恰最重要。技术指标再漂亮,也抵不过一句「这数据老板要看」。
我一般把业务价值分成五档:
- 战略级——支撑核心KPI、监管报送、财务核算。没了它,公司没法正常运转。
- 运营级——支撑日常运营决策、业务分析。没了它,效率会下降。
- 参考级——用于历史对比、趋势分析。没了它,分析深度会受影响。
- 实验级——临时项目、探索性分析。没了它,影响有限。
- 废弃级——已无明确业务归属,无人认领。没了它,没人会发现。
这里有个坑——「无人认领」不等于「没有价值」。我曾经处理过一个案例:一张表挂了三年没人管,结果一查,是某个离职员工留下的实验数据,里面居然有当年A/B测试的原始样本。虽然现在用不上,但法务说按合规要求还得保留两年。
避坑指南:业务价值评估一定要拉上业务方一起做。技术团队自己拍脑袋,很容易误判。我建议至少找三个不同角色的人交叉确认——数据Owner、数据消费者、数据治理委员会。
三维交叉:识别待下线资产
好了,三个维度都有了,怎么综合判断?
我习惯用一张「下线优先级矩阵」来辅助决策:
| 使用频率 | 访问热度 | 业务价值 | 下线建议 |
|---|---|---|---|
| 僵尸 | 冰冷 | 废弃级 | 立即下线 |
| 僵尸 | 冰冷 | 实验级 | 可下线,需确认 |
| 低频 | 低热 | 参考级 | 建议归档,暂不下线 |
| 低频 | 低热 | 运营级 | 保留,定期复审 |
| 高频 | 高热 | 战略级 | 绝不考虑下线 |
说白了,只有左上角那几类才值得优先处理。其他的,要么归档,要么保留,要么定期复审。
一张图看懂整个分类体系
下面这张图是我自己总结的「待下线资产识别框架」,你可以直接拿去用:
实操建议:从哪开始盘?
框架讲完了,说点落地的东西。如果你现在就要开始做资产盘点,我建议按这个顺序来:
- 先抓「僵尸资产」——从元数据系统拉出90天以上无访问的表,这是最容易出成果的。
- 再筛「冰冷资产」——结合访问日志,找出那些没人查、没人用的数据。
- 最后找「废弃资产」——跟业务方对账,确认哪些数据已经没人认领了。
这三个步骤走完,你手里就有了一份初步的「待下线候选清单」。下一步,才是逐个评估、走下线流程。
我的经验:第一次盘点,别追求完美。先找出最明显的20%「僵尸资产」下线掉,就能释放大量存储和计算资源。剩下的,慢慢来。
记住一句话:不是所有不用的数据都该删,但所有该删的数据一定没人用。 盘点的目的,就是找到那个交集。