3. 数据生命周期管理：从采集、存储、使用、归档到销毁的全流程成本控制策略

数据这东西，从生到死都有成本。很多团队只盯着存储花钱多，其实采集、使用、归档、销毁每个环节都在烧钱。我见过最夸张的项目，一年花在“存着但没人碰”的数据上的钱，够再招两个高级工程师。

说白了，数据生命周期管理就是给数据做“全流程成本审计”。从它诞生的那一刻起，就要想清楚：这数据值不值得存？存多久？怎么用？什么时候扔？

3.1 采集阶段：源头省钱才是真省钱

数据采集是成本的第一道闸门。很多人觉得采集又不花钱，随便采呗。错！采集的质量直接决定了后面存储、清洗、计算要花多少钱。

我在项目中遇到过一件事：某 IoT 平台每秒采集 10 万条传感器数据，结果 30% 是重复的、15% 是异常值。这些垃圾数据一路流到数仓，占着存储、耗着计算，最后分析结果还是错的。后来我们在采集端加了去重和异常过滤，存储成本直接降了 40%。

具体怎么做？我一般这样控制采集成本：

• 动态频率调整：业务低谷期降低采集频率，高峰期恢复。比如凌晨 2 点的日志，没必要每秒采一次，5 分钟一次就够了。
• 边缘预处理：在采集端做轻量过滤，只上送有价值的数据。我见过一个项目，在网关层做简单聚合，数据量减少了 70%。
• 协议优化：用更高效的序列化格式（比如 Protobuf 替代 JSON），减少网络传输和解析开销。

3.2 存储阶段：分层是王道，别把所有数据当宝贝

存储成本是数据治理里最直观的“出血点”。你想想看，SSD、HDD、对象存储、磁带库，价格差了几十倍。但很多团队把所有数据一股脑塞进高性能存储，这不是浪费是什么？

我个人习惯把数据分成三层：

存储层	适用数据	访问频率	相对成本	典型技术
热存储	近 7 天业务数据、实时分析数据	频繁（秒级/分钟级）	高（1x）	SSD、内存数据库
温存储	近 30-90 天历史数据、报表数据	偶尔（小时级/天级）	中（0.3x-0.5x）	HDD、标准对象存储
冷存储	超过 90 天的归档数据、合规备份	极少（月级/年级）	低（0.05x-0.1x）	归档存储、磁带库

另外，压缩也是存储省钱的大头。列式存储 + 合适的压缩算法（比如 ZSTD、Snappy），能把存储量再压缩 3-5 倍。但要注意，压缩比和查询性能是 trade-off，别为了省钱把查询搞慢了。

3.3 使用阶段：别让计算资源养闲人

数据存好了，最终是要用的。但很多查询其实是在浪费资源。我调过不少团队的查询日志，发现 60% 以上的查询都是重复的、或者根本没人看的报表。

怎么控制使用成本？我一般从这几个角度入手：

• 查询模式优化：建立查询审计，识别出那些“又慢又贵又没人用”的查询，直接干掉或者优化。
• 预聚合与物化视图：对于固定报表，提前算好结果存起来，别每次都全表扫描。我有个项目做了物化视图后，查询成本降了 80%。
• 计算资源弹性：按需分配，别让集群空转。晚上没人用的时候自动缩容，白天高峰期再扩容。
• 数据分级访问：重要数据走高性能计算，非重要数据走低成本计算引擎。比如用 Presto 查热数据，用 Hive 查冷数据。

3.4 归档阶段：别让历史数据成为包袱

归档是个容易被忽视的环节。很多团队觉得“数据反正不贵，先放着吧”。但数据是会积累的，一年两年下来，存储成本就上去了。

归档的核心是平衡：压缩比 vs 检索成本。归档格式压缩得越狠，存储越省，但将来要查的时候就越慢、越贵。

我一般这样设计归档策略：

1. 定义归档条件：比如“超过 90 天未访问的数据自动归档”。条件要清晰，别模棱两可。
2. 选择归档格式：列式压缩格式（Parquet、ORC）比行式格式省很多空间。我测过，同样的数据，Parquet 比 CSV 小 10 倍。
3. 自动化执行：用调度任务定期执行归档，别靠人工。人工容易忘，忘了就是成本。
4. 保留检索能力：归档不等于“扔进黑洞”。要保留元数据和索引，确保需要时能快速找到数据。

3.5 销毁阶段：安全合规地“断舍离”

数据销毁是生命周期的终点，也是很多人最不愿意面对的一步。但该扔就得扔，留着不仅浪费钱，还有合规风险。

销毁的成本控制，主要体现在两个方面：

• 安全擦除成本：普通删除只是标记，数据还在磁盘上。真正安全的销毁需要覆写或物理销毁，这需要成本。要根据数据敏感度选择合适的方式。
• 合规审计成本：销毁记录要留痕，证明你确实销毁了。这个成本不高，但不能省。

我建议建立数据销毁清单，明确每个数据集的保留期限、销毁方式和责任人。到期自动触发销毁流程，并生成审计报告。