4. zstd 深度解析：字典压缩、多线程支持、训练自定义字典的方法

zstd，全称 Zstandard，是 Facebook 开源的一款压缩算法。说实话，这几年我在做存储和中间件优化时，zstd 几乎成了我的首选。它不像 gzip 那么老，也不像 lz4 那么“轻浮”。它能在高压缩比和极快速度之间找到一个很好的平衡点。

今天这一章，咱们就深入聊聊 zstd 的三个核心能力：字典压缩、多线程支持、以及如何训练你自己的字典。这些才是 zstd 真正拉开差距的地方。

4.1 为什么 zstd 值得你认真对待？

先看一组我实际压测过的数据。我用一个 200MB 的日志文件做测试，压缩级别都设为 3：

算法	压缩比	压缩速度 (MB/s)	解压速度 (MB/s)
gzip -3	2.8x	45	120
lz4 -3	2.1x	480	1350
zstd -3	3.1x	350	890
zstd -3 (带字典)	4.5x	340	880

看到了吗？zstd 在默认级别下，压缩比已经超过 gzip，速度却快了近 8 倍。而一旦加上字典，压缩比能再提升 40% 以上。这就是它的魅力所在。

4.2 字典压缩：小数据量的救星

你想想看，传统的压缩算法面对小数据（比如几百字节的 JSON 或 Protobuf 消息），效果往往很差。为什么？因为压缩算法需要从数据中“学习”统计模型，数据量太小，模型还没建好就结束了。

zstd 的字典压缩解决了这个问题。它允许你预先提供一个训练好的字典文件，这个字典里包含了你的数据中常见的模式、字段名、重复片段。压缩时，zstd 会参考这个字典，把小数据也能压得很小。

我在项目中遇到过这样一个场景：我们需要存储海量的、平均只有 200 字节的监控指标数据。用 gzip 压缩，压缩比只有 1.5x 左右。后来我训练了一个针对监控数据格式的字典，zstd 的压缩比直接飙到了 4.2x。存储成本降了 60%。

4.2.1 使用预置字典

zstd 命令行工具直接支持字典。用法很简单：

# 压缩时指定字典
zstd -D my_dict.dict input.json -o input.json.zst

# 解压时也要指定同一个字典
zstd -D my_dict.dict -d input.json.zst -o input.json

4.3 多线程支持：榨干 CPU 的每一滴性能

zstd 从 1.3.0 版本开始就原生支持多线程压缩。说白了，就是把一个大文件切成多个块，每个线程独立压缩一个块，最后再拼接起来。

我个人习惯在生产环境中把线程数设为 CPU 核心数减 1，留一个核心给操作系统和其他进程。比如 16 核的机器，我会用 -T15。

4.3.1 命令行用法

# 使用 4 个线程压缩
zstd -T4 bigfile.log -o bigfile.log.zst

# 自动检测 CPU 核心数
zstd -T0 bigfile.log

4.3.2 编程接口（libzstd）

如果你在写 C/C++ 程序，可以这样设置：

#include <zstd.h>

ZSTD_CCtx* cctx = ZSTD_createCCtx();
// 设置线程数
ZSTD_CCtx_setParameter(cctx, ZSTD_c_nbWorkers, 4);
// 设置压缩级别
ZSTD_CCtx_setParameter(cctx, ZSTD_c_compressionLevel, 3);

// 开始压缩
ZSTD_compress2(cctx, dst, dstCapacity, src, srcSize);

4.4 训练自定义字典：从数据中学习

这才是 zstd 最强大的功能。你可以从一批样本数据中训练出一个专属字典。训练出来的字典能精准匹配你的数据模式。

4.4.1 准备样本数据

样本数据要能代表你的真实数据。我建议至少准备 10MB 以上的样本，样本数量越多越好。把样本文件放在一个目录里：

mkdir samples
cp /var/log/app/*.log samples/

4.4.2 训练字典

zstd 自带的 zstd --train 命令就是干这个的：

# 训练字典，输出到 my_dict.dict
zstd --train samples/*.log -o my_dict.dict

# 指定字典大小（默认 112KB，最大 128MB）
zstd --train --maxdict=65536 samples/*.log -o my_dict.dict

训练过程会输出一些日志，告诉你覆盖率和命中率。我一般会盯着这两个指标看：

• 覆盖率：字典能覆盖样本数据的比例。越高越好，理想值在 80% 以上。
• 命中率：压缩时实际命中字典的比例。低于 50% 说明样本选得不好。

4.4.3 评估字典效果

训练完一定要验证。我会用一批没参与训练的测试数据来评估：

# 不带字典压缩
zstd -3 test_data.log -o test_data.zst

# 带字典压缩
zstd -3 -D my_dict.dict test_data.log -o test_data_dict.zst

# 对比大小
ls -lh test_data.zst test_data_dict.zst

如果带字典的压缩比提升不到 10%，说明你的样本数据可能有问题，或者数据本身随机性太强，不适合字典压缩。

4.5 知识体系总览

下面这张图总结了 zstd 字典压缩和多线程的核心流程。我画这张图时特意把“训练”和“使用”分成了两条线，这样更清楚：

4.6 避坑指南与最佳实践

最后，分享几个我踩过的坑，希望能帮你省点时间：

• 字典不是越大越好：字典文件本身也会占用内存。我一般控制在 64KB-256KB 之间。太大的字典反而会降低压缩速度。
• 样本要“脏”一点：别只拿干净的数据训练。我试过只拿正常日志训练字典，结果线上出现异常日志时，压缩比直接崩了。最好混入一些异常数据。
• 多线程别开太多：线程数超过 CPU 核心数后，性能反而下降。因为线程切换的开销超过了并行收益。我一般用 -T0 让 zstd 自动检测。
• 字典要版本管理：字典文件应该像代码一样纳入版本控制。我见过因为字典丢失导致所有历史数据无法解压的事故。嗯，那场面相当尴尬。