第二章:数据生命周期管理

数据生命周期管理,说白了就是给数据一个完整的“人生规划”。从它诞生到最终消亡,每个阶段该怎么管,什么时候该删,都得心里有数。我做了这么多年数据治理,见过太多公司数据堆成山却不知道怎么清理,最后搞得存储爆炸、查询慢得像蜗牛。

2.1 数据生命周期模型

先说说这个模型长什么样。我习惯把数据生命周期分成六个阶段:

  • 创建阶段:数据刚生成,比如用户注册、订单录入
  • 存储阶段:数据落盘,进入数据库或文件系统
  • 使用阶段:被业务系统频繁读写、查询
  • 归档阶段:访问频率降低,挪到冷存储
  • 保留阶段:出于合规或审计需求,必须存够一定年限
  • 销毁阶段:彻底删除,不留痕迹

你想想看,这跟人的一生很像。年轻时候活跃(使用阶段),老了就退休(归档),最后总要有个归宿(销毁)。

核心观点:数据生命周期不是一条直线,而是一个闭环。删除不是终点,而是为新数据腾出空间的起点。

2.2 各阶段数据管理策略

每个阶段的管理策略都不一样。我挑几个重点阶段说说我的经验。

创建阶段

数据一进来,就得打上标签。比如创建时间、数据分类、保留期限。我在项目中遇到过,有些团队图省事,数据入库时不加任何元数据,结果三个月后想清理,根本分不清哪些能删哪些不能删。嗯,这里要注意:元数据是数据治理的基石。

使用阶段

这个阶段数据最活跃,也是性能压力最大的时候。我建议做三件事:

  1. 设置访问频率监控,发现长期不用的数据就标记为“冷数据”
  2. 建立数据分级制度,比如核心业务数据、普通业务数据、日志数据
  3. 定期做数据质量检查,把脏数据提前清理掉

归档阶段

数据从热存储挪到冷存储,不是简单复制粘贴。我记得有一次,客户把归档数据直接压缩扔到对象存储里,结果需要恢复时发现压缩格式不兼容,折腾了两天。所以归档策略要考虑:

  • 存储格式要通用,别用冷门格式
  • 保留原始元数据,方便检索
  • 设定明确的归档触发条件,比如“超过90天未访问”

保留阶段

这个阶段最头疼的是合规要求。不同行业、不同地区,保留期限天差地别。我整理了一个常见场景的表格:

数据类型 保留期限 合规依据
财务凭证 10年 《会计法》
用户日志 6个月 《网络安全法》
医疗记录 15年 《医疗机构病历管理规定》
交易流水 5年 《支付机构反洗钱规定》

小技巧:保留期限别写死在代码里。我习惯用配置中心管理,哪天法规变了,改个配置就行,不用重新部署。

2.3 数据删除在生命周期中的位置

数据删除,很多人觉得就是最后一步。其实不然。删除应该贯穿整个生命周期。为什么这么说?

第一,创建阶段就要想好怎么删。数据入库时,如果明确知道它三个月后就没用了,那直接打上“可删除”标签,后续自动化流程就能直接处理。

第二,使用阶段也要删。脏数据、重复数据、测试数据,这些在活跃期就该清理掉。我曾经帮一家电商公司做治理,发现他们的订单表里有30%的测试数据,占着存储不说,还影响报表准确性。

第三,归档和保留阶段更要删。过了保留期限的数据,必须及时销毁。不然哪天被审计查到,罚款可不是小数目。

避坑指南:我曾经遇到一个客户,为了省事,把删除操作写成了“软删除”——只是标记删除,数据还在。结果三年后存储爆了,才发现那些“已删除”的数据占了80%的空间。所以,软删除不是真正的删除,该物理删除的时候别手软。

总结一下我的观点:数据删除不是生命周期的终点,而是每个阶段都要考虑的动作。你想想看,如果等到数据堆成山再想办法删,那成本得多高?

下一章我会讲具体的删除策略设计,包括怎么定规则、怎么自动化执行。到时候我会拿几个真实案例出来,保证干货满满。