VIP20

本课程属于：034-Kafka性能调优 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka压缩策略选型与性能对比

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

压缩基础概念

数据压缩的定义、压缩比与吞吐量、无损与有损压缩的区别。

主流压缩算法概览

gzip、zstd、lz4、snappy、brotli 的核心特性对比。

gzip 深度解析

算法原理（Deflate）、压缩级别、适用场景与性能基准。

zstd 深度解析

字典压缩、多线程支持、训练自定义字典的方法。

现代高性能

lz4 深度解析

极致速度、解压带宽、在实时系统中的应用。

snappy 深度解析

Google 出品、平衡之道、与 lz4 的对比。

brotli 深度解析

Web 场景优化、静态资源压缩、与 gzip 的对比。

压缩级别调优

不同级别对 CPU 和压缩率的影响、如何选择最佳级别。

压缩字典技术

通用字典 vs 自定义字典、字典训练流程、效果评估。

硬件加速压缩

Intel QAT、GPU 压缩、FPGA 方案简介。

压缩在存储系统中的应用

数据库压缩（MySQL、PostgreSQL）、文件系统压缩（ZFS、Btrfs）。

存储数据库

压缩在网络传输中的应用

HTTP 压缩、gRPC 压缩、消息队列压缩。

压缩在大数据场景中的应用

Hadoop、Spark、Kafka 中的压缩选型。

压缩在日志系统中的应用

日志压缩策略、实时索引与压缩的平衡。

压缩在容器镜像中的应用

Docker 镜像层压缩、OCI 标准、加速分发。

压缩性能基准测试方法论

测试工具（lzbench、zstd-bench）、测试数据集、指标解读。

压缩对 CPU 和内存的影响

CPU 占用率、内存带宽、缓存命中率分析。

压缩对 I/O 的影响

读写放大、延迟分布、吞吐量变化。

压缩与加密的组合

先压缩后加密 vs 先加密后压缩、性能与安全权衡。

压缩在嵌入式系统中的应用

资源受限环境下的选型、Flash 存储优化。

压缩在云原生环境中的实践

Sidecar 压缩代理、Serverless 冷启动优化。

云原生Serverless

压缩算法的可观测性

压缩率监控、性能指标采集、告警策略。

监控可观测

压缩策略的 A/B 测试

实验设计、流量切分、效果评估。

压缩与数据去重的协同

重复数据删除后的压缩增益、Chunk 大小选择。

压缩在冷热数据分层中的应用

热数据用 lz4、冷数据用 zstd 的实践。

压缩算法的演进趋势

机器学习辅助压缩、新型算法（如 bsc、lzma）的适用场景。

压缩选型决策树

根据场景（延迟敏感、吞吐优先、存储优先）选择算法。

压缩配置最佳实践

缓冲区大小、线程数、字典大小的推荐值。

配置最佳实践

压缩故障排查

压缩失败、性能劣化、数据损坏的常见原因与修复。

压缩策略总结与展望

未来方向、行业案例、个人经验分享。