1. 课程导入与治理全景
在数据治理的日常工作中,很多人把“留存”“删除”“归档”当成同一件事的不同说法,结果在落地时出现两类典型问题:一类是数据该删却一直留着,形成合规风险与存储成本;另一类是数据该留却被误删,导致审计、诉讼或业务追溯时无法举证。要避免这两类问题,第一步不是选工具,而是把三个概念的定义边界划清楚,再理解它们如何协同。
一、三个概念的定义边界
数据留存(Retention)指的是:为满足业务、合规或审计需要,明确规定某类数据“应当保存多久、以什么形态保存、由谁负责”。留存的核心产物是留存策略,它回答的是“留多久”和“为什么留”。例如:交易流水自交易完成之日起留存5年,依据是财务与税务审计要求;用户操作日志留存180天,依据是安全事件追溯要求。
数据删除(Deletion)指的是:在留存期限届满、法定例外消失或用户依法行使删除权时,将数据从业务系统、备份、副本、缓存等位置不可恢复地清除。删除的核心难点不在“删”这个动作,而在于“删干净”——主库删了、备份没删、分析副本没删、日志里还有,都不算真正删除。
数据归档(Archiving)指的是:将访问频率低但仍有留存价值的数据,从高成本的生产环境迁移到低成本、低访问频率的归档存储中,同时保证在需要时可检索、可恢复、可举证。归档不是删除,也不是简单搬走,它必须保留可发现性与可读性。
三者的边界可以用一句话概括:留存决定“留多久”,归档决定“放在哪”,删除决定“何时清”。留存是策略层,归档是存储层,删除是执行层。三者不是并列关系,而是同一条数据生命周期上的不同环节。
二、治理目标:不是“删得越多越好”
数据留存删除与归档治理的目标,可以归纳为四个平衡:
- 合规平衡:该留的必须留得住、查得到;该删的必须删得掉、证得明。合规不是单方向“多留”或“快删”,而是按规则执行。
- 成本平衡:生产存储贵、归档存储便宜。把低频数据及时归档,可以显著降低单位数据的存储成本,同时不牺牲可追溯性。
- 风险平衡:留存过久会放大泄露风险与合规风险;删除过快会丢失审计证据与业务追溯能力。治理就是找到这条风险曲线的合理位置。
- 效率平衡:归档数据要能在需要时快速定位和恢复。如果归档后“找不到、读不出、恢复慢”,归档就退化成“冷埋”,治理价值大打折扣。
三、法规驱动因素:为什么现在必须做
推动这项治理从“可做可不做”变成“必须做”的,主要有四类驱动因素:
第一类是法定留存义务。不同行业对交易记录、财务凭证、日志等有明确的最低留存期限要求。例如财务凭证通常要求留存10年,部分行业日志要求留存不少于6个月。这些期限是底线,不能随意缩短。
第二类是个人信息删除权。当用户依法请求删除个人信息,或收集目的已实现、期限已届满时,组织需要在合理期限内完成删除,并能够说明删除范围与结果。这里的难点是“关联副本”的清理。
第三类是数据安全与最小化原则。留存越久、副本越多,泄露面越大。监管检查中,“超期留存”本身就是常见问题项。治理要求组织能说清每类数据的留存依据和到期处理方式。
第四类是诉讼与审计举证需要。当发生纠纷或审计时,组织需要证明某段时间的数据完整、未被篡改、可按需调取。归档系统如果缺乏完整性校验和访问记录,举证能力就会不足。
常见误区:把“删除”理解为“从业务界面看不到”。实际上,数据库软删除标记、备份中的历史副本、数据仓库中的宽表、日志文件中的明文记录,都可能仍然保留着个人信息。合规意义上的删除,需要覆盖这些位置,并保留删除执行记录作为证明。
四、三者协同框架:一条主线、三个衔接点
把留存、归档、删除放在同一条数据生命周期主线上,可以形成清晰的协同框架:
主线是:数据创建 → 活跃使用 → 低频访问 → 归档保存 → 留存期满 → 安全删除 → 销毁确认。每个阶段都有明确的负责人、判断条件和记录要求。
第一个衔接点是“留存策略 → 归档决策”。留存策略不能只写“保存5年”,还要写到“5年到期后如何处理”。如果到期后需要继续保留用于审计,就应转入归档;如果到期即删,就应进入删除队列。缺少这个判断,数据到期后会变成“无人认领”的灰色数据。
第二个衔接点是“归档 → 留存计时”。数据从生产库迁移到归档存储时,留存期限的计时起点必须保持不变。例如一笔交易在2024年3月1日完成,留存5年,那么无论它在2025年何时被归档,到期日始终是2029年3月1日。归档系统需要继承这个到期时间,而不是重新计时。
第三个衔接点是“删除 → 归档副本”。当留存期满执行删除时,删除范围必须包括归档中的对应副本、备份中的历史版本以及分析环境中的派生数据。否则会出现“主库已删、归档还在”的不一致状态。删除完成后,应生成删除记录,记录删除对象、范围、时间、执行人和校验结果。
五、一个可参考的留存策略示例
下面给出一份简化的留存策略表,用于说明策略层需要定义哪些字段。表中数据为教学示例,实际期限需根据所在行业法规和组织制度确定。
| 数据类别 | 留存期限 | 到期处理 | 存储位置 | 责任角色 |
|---|---|---|---|---|
| 交易流水 | 5年 | 归档后继续保留至10年,再删除 | 生产库 → 归档库 | 财务系统负责人 |
| 用户操作日志 | 180天 | 到期直接删除 | 日志平台 | 安全运营负责人 |
| 用户个人信息 | 目的实现后30天内 | 删除(含副本) | 业务库 + 数仓 + 备份 | 数据保护官 |
| 审计凭证 | 10年 | 长期归档,不删除 | 归档库(WORM) | 内审负责人 |