VIP20

本课程属于：028-batch推理队列 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Batch大小与延迟平衡术

📚 共计 30 章节

Batch与延迟的博弈

什么是Batch Size？为什么延迟是性能的关键指标？二者之间的核心矛盾。

⚖️ 博弈📉 延迟

延迟的构成

传输延迟、处理延迟、排队延迟、调度延迟。

⏱️ 传输⚙️ 调度

Batch Size的物理意义

吞吐量与延迟的跷跷板效应。

📊 吞吐量🪢 跷跷板

单线程场景下的Batch策略

串行处理与批量处理的权衡。

🧵 单线程⚡ 批量

多线程与并发Batch

线程池大小与Batch Size的协同调优。

🧵 多线程⚙️ 调优

网络IO中的Batch

Nagle算法与TCP_NODELAY的取舍。

🌐 网络📡 Nagle

磁盘IO中的Batch

文件系统缓存与写入合并策略。

💾 磁盘📂 缓存

数据库Batch Insert

JDBC Batch与事务提交频率的平衡。

🗄️ 数据库📝 JDBC

消息队列中的Batch

Kafka与RabbitMQ的批量发送配置。

📨 消息队列🐇 Kafka

GPU计算中的Batch

CUDA Kernel Launch与显存带宽的利用。

🎮 GPU⚡ CUDA

机器学习推理中的动态Batch

Batching与Scheduling的实时性挑战。

🤖 推理⏳ 动态

流处理中的微Batch

Flink与Spark Streaming的窗口大小选择。

🌊 流处理🪟 窗口

HTTP/2与gRPC中的Batch

Stream Multiplexing与Message Batching。

🌐 HTTP/2📡 gRPC

缓存系统中的Batch

Redis Pipeline与MGET的性能对比。

⚡ 缓存📦 Redis

日志系统中的Batch

异步刷盘与批量写入的可靠性权衡。

📋 日志🛡️ 可靠性

微服务调用链中的Batch

请求合并与扇出延迟的平衡。

🔗 微服务📡 扇出

操作系统层面的Batch

中断合并（Interrupt Coalescing）与NAPI。

🖥️ OS⚡ NAPI

硬件层面的Batch

DMA传输与PCIe TLP合并。

🖥️ 硬件🔌 DMA

自适应Batch算法

基于延迟反馈的动态调整策略。

🤖 自适应📈 反馈

令牌桶与漏桶算法

在Batch场景下的流量整形应用。

🪣 令牌桶⏳ 漏桶

Little定律与排队论

用数学理解Batch与延迟的关系。

📐 排队论📊 Little

性能测试中的Batch

如何设计合理的Benchmark来评估Batch策略。

🧪 测试📊 Benchmark

监控与可观测性

如何测量端到端延迟与Batch效率。

📡 监控🔍 可观测

分布式系统中的全局Batch

协调多个节点的批量操作。

🌍 分布式🤝 协调

Batch与数据一致性

批量提交与事务隔离级别的冲突。

📋 一致性🔒 事务

内存与GC对Batch的影响

大Batch导致的内存压力与GC停顿。

🧠 内存♻️ GC

超时与重试机制

Batch场景下的超时设置与退避策略。

⏱️ 超时🔁 重试

实战案例一：高并发API网关

请求合并与延迟优化。

🚀 API网关⚡ 高并发

实战案例二：实时推荐系统

特征计算Batch调优。

🎯 推荐系统🧮 特征

总结与最佳实践

构建Batch与延迟平衡的决策框架。

🏁 总结📌 最佳实践