VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

连续批处理提升吞吐量

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

批处理基础概念

什么是批处理、批处理与流处理的区别、批处理的应用场景。

入门核心概念

吞吐量核心指标

QPS、TPS、响应时间、并发数、吞吐量计算公式。

单机批处理模型

串行处理、并行处理、生产者-消费者模式。

批量聚合策略

固定批次大小、动态批次调整、超时触发机制。

内存与GC优化

对象复用、内存池、减少Full GC对吞吐量的影响。

IO模型与吞吐量

BIO、NIO、AIO在批处理中的选择，零拷贝技术。

线程池调优

核心线程数、最大线程数、队列选择、拒绝策略。

线程池并发

数据库批量写入

JDBC Batch、MyBatis Batch模式、批量提交事务。

连接池配置

HikariCP参数调优、最大连接数、超时设置。

连接池HikariCP

缓存加速批处理

本地缓存、分布式缓存（Redis）、缓存穿透/击穿/雪崩。

消息队列削峰填谷

Kafka/RocketMQ批量消费、顺序消费、重试机制。

分布式批处理框架

Spring Batch、MapReduce、Spark批处理对比。

分布式框架

数据分片与并行度

水平分片、垂直分片、动态调整并行度。

任务调度与编排

Quartz、Elastic-Job、XXL-JOB的批处理场景。

状态管理与断点续传

保存快照、失败重试、幂等性设计。

限流与背压机制

令牌桶、漏桶、Reactive Streams背压。

资源隔离与抢占

线程隔离、进程隔离、容器化资源限制。

监控与告警

Prometheus + Grafana监控吞吐量、自定义指标。

监控Prometheus

性能压测方法

JMeter/Gatling压测、阶梯加压、瓶颈分析。

常见反模式

大事务、长连接、频繁创建对象、无缓冲IO。

反模式避坑

案例：日志批量采集系统

Filebeat + Kafka + Logstash 设计高吞吐采集管道。

案例：订单批量处理系统

分库分表 + 异步对账，保证高性能与一致性。

案例：数据仓库ETL批处理优化

Sqoop/DataX调优，提升数据同步吞吐量。

案例：推荐系统特征批量计算

Spark MLlib + HDFS 实现大规模特征工程。

案例：金融交易批量清算

高一致性 + 高吞吐的清算对账方案。

案例：物联网设备数据批量上报

MQTT + 时序数据库处理海量设备数据。

案例：视频转码批处理

FFmpeg + 任务队列 + 分布式调度。

案例：邮件/短信批量发送

异步 + 限流 + 去重，保证送达率与吞吐。

案例：大数据离线分析批处理

Hive/Spark SQL 调优，加速离线ETL。

案例大数据

综合实战：高吞吐订单批处理系统

从设计到压测，构建完整高吞吐批处理订单系统。