一、数据资产下线治理概述:为什么需要下线治理?
说实话,我做了十几年数据治理,见过太多「只生不养」的数据资产。
系统上线时轰轰烈烈,数据表建了一堆又一堆。可几年后呢?没人维护、没人使用、甚至没人知道这些数据还在跑。我管这叫「数据僵尸」——它们活着,但已经死了。
嗯,今天我们就聊聊,为什么非得给这些数据资产办个「葬礼」。
1.1 数据资产的「僵尸化」现象
先看一组我亲身经历的数据。某大型零售企业,数据仓库里有超过 3000 张表。我带队做了一次全面盘点,结果呢?
| 数据表状态 | 数量 | 占比 |
|---|---|---|
| 活跃使用(近30天有查询) | 820 | 27.3% |
| 低频使用(近90天有查询) | 650 | 21.7% |
| 无人问津(超过180天无查询) | 1530 | 51% |
超过一半的表,半年没人碰过。这些表还在每天跑 ETL、占存储、耗计算资源。说白了,就是在烧钱。
核心观点:数据资产下线不是「要不要做」的问题,而是「什么时候做、怎么做」的问题。不做下线治理,数据平台迟早被垃圾数据拖垮。
1.2 为什么必须做下线治理?
我总结了一下,有四个不得不做的理由:
- 成本黑洞——存储、计算、维护,每一条僵尸数据都在吃预算。我曾经帮一家金融客户清理了 40% 的冗余表,每年省下 200 多万的存储费用。
- 性能杀手——数据越多,查询越慢。你想想看,一张 10 亿行的表,里面 80% 是没人看的历史数据,每次扫描都在浪费 IO。
- 合规风险——GDPR、个人信息保护法,要求数据有明确的保留期限。该删不删,罚单随时会来。
- 管理混乱——数据目录里一堆「test_2020」、「bak_2019」之类的表,新人来了根本搞不清哪个是正式的。
避坑指南:我曾经见过一个案例,某公司因为没及时下线一个老系统的数据接口,导致新系统上线后数据双写,最终对账差了 3000 万。嗯,那场面,财务总监差点没把 IT 总监吃了。
1.3 数据资产的生命周期与下线治理
数据资产跟人一样,有生老病死。我习惯把数据生命周期分成六个阶段:
你看这个图,下线不是突然发生的。它应该是一个有计划的、逐步推进的过程。我个人习惯把下线治理看作数据生命周期的「终点管理」——就像医院里的临终关怀,不是简单拔管子,而是有尊严地、安全地结束。
1.4 下线治理的三大误区
这些年我踩过不少坑,也看别人踩过。总结三个最常见的误区:
- 误区一:没人用就删——我曾经直接删了一批「无人问津」的表,结果第二天业务部门炸了,说那是季度报表的底表,半年才用一次。嗯,从那以后我学乖了,下线前必须做完整的依赖分析。
- 误区二:下线就是删除——不对。下线可以是归档、冻结、标记废弃,不一定非要物理删除。我建议先做逻辑下线,观察一段时间再决定是否物理清理。
- 误区三:一次性能搞定——数据资产下线不是一次性项目,而是持续运营。我见过最成功的案例,是把下线治理嵌入了日常运维流程,每个月自动扫描、自动提醒。
我的建议:刚开始做下线治理,别贪多。先选一个数据域试点,比如「日志数据」或者「临时表」。跑通流程、拿到效果、建立信心,再逐步推广。我当年就是这么干的,效果不错。
1.5 本章小结
说白了,数据资产下线治理不是什么高深的技术活,而是一个管理活。它解决的是「数据太多、垃圾太多、成本太高」这三个老大难问题。
记住三个关键词:识别(找到僵尸资产)、评估(判断影响范围)、执行(安全有序下线)。