VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

高吞吐数据摄取调优全攻略

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据摄取概述

ETL vs ELT · 实时 vs 批量 · 数据管道基本架构

性能基准与瓶颈分析

吞吐量、延迟、资源利用率，CPU/内存/IO/网络瓶颈

数据源连接优化

连接池、并行连接数、超时设置与重试策略

数据格式选择

Avro · Parquet · ORC · JSON · CSV 优劣对比与选型

格式序列化

序列化与反序列化调优

Protocol Buffers · Thrift · Kryo 性能对比与配置

序列化性能

批量摄取策略

批量大小调优 · 批次提交频率 · 事务边界控制

流式摄取策略

微批次 vs 纯流式 · Watermark · Checkpoint 机制

JVM 堆内存 · 直接内存 · Off-Heap · GC 优化

并行度 · 线程池 · CPU 亲和性 · 向量化处理

磁盘读写 · 文件系统 (HDFS/S3/本地) · IO 调度

带宽限制 · 压缩传输 · TCP 参数 · 数据本地性

数据分区与分片

分区键选择 · 分片策略 · 数据倾斜处理

主键/二级索引 · 布隆过滤器 · 倒排索引应用

本地缓存 · Redis 分布式缓存 · 失效策略 · 预加载

Snappy · Zstd · LZ4 · Gzip 对比与级别调优

客户端/服务端均衡 · 自适应负载均衡算法

均衡高可用

背压原理 · 动态反压 · 有界缓冲区 · 流量控制

容错与重试

幂等性 · 死信队列 · 退避策略 · Exactly-Once

监控与告警

吞吐/延迟/错误率 · Prometheus · Grafana · 告警规则

日志与审计

结构化日志 · 级别调优 · Jaeger · Zipkin 分布式追踪

动态配置 · Apollo · Nacos · 灰度发布

线程池隔离 · 资源队列 · CGroup · K8s 资源配额

数据一致性

最终/强一致性 · 2PC · Saga 分布式事务

一致性事务

安全与权限

TLS/AES 加密 · RBAC · 审计日志

测试与压测

单元/集成测试 · JMeter · Gatling · 混沌工程

Kafka 摄取调优

生产者参数 · 分区策略 · 副本机制 · 消费端调优

Flink 摄取调优

并行度 · Checkpoint · 状态后端 · 算子链

Spark Streaming 摄取调优

批处理间隔 · 资源分配 · Shuffle · Kryo 序列化

数据库摄取调优 (CDC)

Debezium · 日志解析 · 增量快照 · Schema 演进

综合案例实战

从0到1构建高吞吐管道 · 调优前后对比分析