4. 存储成本优化：对象存储、块存储、文件存储的选择策略；数据压缩、去重、分层存储技术

存储成本，说白了就是数据治理里最大的「隐形黑洞」。我见过太多团队，上来就买全闪存阵列，结果存的全是半年都没人碰的日志。今天咱们就聊聊怎么把钱花在刀刃上。

4.1 三种存储形态：选对路子，省一半钱

对象存储、块存储、文件存储，这三兄弟各有各的脾气。选错了，不仅性能拉胯，账单更是蹭蹭往上涨。

特性	对象存储	块存储	文件存储
访问协议	S3、Swift、HTTP	iSCSI、FC	NFS、SMB/CIFS
典型场景	备份、归档、静态网站、大数据	数据库、虚拟机磁盘	共享目录、日志、代码库
扩展性	近乎无限（水平扩展）	有限（受限于集群规模）	中等（受限于元数据服务器）
单GB成本	最低（通常为块存储的1/3~1/5）	最高	中等
修改方式	整体覆盖（PUT新对象）	随机读写（按块覆盖）	随机读写（按文件偏移）

我在项目中遇到过一家做视频监控的公司，每天产生几十TB的录像文件。他们一开始全存在NFS上，结果元数据服务器直接被打爆。后来我把超过7天的冷数据全部迁移到对象存储，成本直接降了70%，性能问题也解决了。

4.2 数据压缩：用CPU换存储空间

压缩这事儿，不是所有数据都适合。你想想看，已经压缩过的视频（MP4、H.264）再压一遍，基本没效果，还白费CPU。

什么时候该压？

• 文本类数据：JSON、CSV、日志文件，压缩比通常能达到5:1甚至10:1。
• 数据库备份：未压缩的SQL dump，压缩后体积能缩小80%。
• 冷数据：访问频率低，可以接受解压时的延迟。

我曾经踩过一个坑：对Parquet格式的数据文件又做了一层gzip压缩。Parquet本身已经内置了列式压缩，再套一层gzip，压缩率只提升了不到5%，但查询时CPU开销翻了一倍。嗯，这里要注意，不要对已经压缩过的格式做二次压缩。

4.3 数据去重：干掉重复的块

去重技术，说白了就是只存一份数据块，其他相同的块用指针引用。这在备份场景里效果特别明显——你每天做全量备份，其实90%的数据都没变过。

去重的粒度：

• 文件级去重：相同文件只存一份。实现简单，但效果有限。
• 块级去重：将文件切成固定大小（如4KB~64KB）的块，计算哈希值，只存不重复的块。效果最好，但需要维护哈希索引。
• 字节级去重：滑动窗口匹配重复字节序列。压缩率最高，但CPU开销极大，生产环境很少用。

我建议在备份系统中优先启用去重。比如使用ZFS的文件系统级去重，或者商业备份软件（如Veeam、Commvault）的源端去重。效果立竿见影，存储空间通常能节省50%~90%。

4.4 分层存储：让数据待在它该待的地方

不是所有数据都需要SSD的速度。分层存储的核心思想很简单：热数据放高速盘，温数据放普通盘，冷数据放对象存储或磁带。

典型的分层策略：

层级	存储介质	访问频率	典型延迟	每GB月成本
热层	NVMe SSD / 全闪存阵列	每天多次	<1ms	高（约$0.3~$0.5）
温层	SATA SSD / 10K RPM HDD	每周几次	5~20ms	中（约$0.05~$0.1）
冷层	对象存储（S3 Glacier / Deep Archive）	每月甚至更少	分钟级（需恢复）	极低（约$0.001~$0.01）
冻层	磁带库 / 离线归档	每年几次	小时级	最低（约$0.0005）

我记得有一次帮一家金融客户做存储优化。他们的交易日志保留7年，全放在全闪存阵列上。我一看，最近3个月的日志占了90%的访问量，更早的日志几乎没人查。后来我配置了自动分层策略：3个月前的日志自动迁移到S3标准存储，1年以上的直接进Glacier。存储成本从每月8万美金降到了1.2万美金。

4.5 整体策略：一张图看懂

下面这张图总结了存储成本优化的核心决策路径。你可以把它贴在工位上，每次做存储选型时对照着看。

4.6 实战建议：从今天开始就能做的事

1. 盘点现有存储：看看哪些数据超过90天没被访问过。我敢打赌，至少30%的存储空间可以被降级。
2. 开启压缩：在对象存储桶级别启用服务端压缩，零成本优化。
3. 配置生命周期策略：大部分云厂商（AWS S3、阿里云OSS）都支持自动分层，花半小时配置，长期省钱。
4. 备份系统启用去重：如果你还在用全量备份，赶紧改成增量+去重。存储空间至少省一半。