第4章 内存管理与GC优化
JVM内存模型与流处理的关系 · 常见GC算法（G1、ZGC）的选择 · 堆外内存的使用技巧 · 减少对象分配的策略
1. JVM内存模型与流处理的关系
流处理引擎（如 Apache Flink）对内存的依赖极高：状态存储、网络缓冲区、算子内部缓存 均直接映射到 JVM 堆内/堆外。理解 JVM 分区（年轻代、老年代、元空间）与流处理数据路径的关系，是调优的第一步。
流处理中，年轻代 GC 频繁 通常由大量临时对象（记录、中间结果）引起；老年代增长则与长生命周期的状态数据相关。合理分配堆内/堆外比例可显著降低 GC 压力。
2. 常见GC算法（G1、ZGC）的选择
| 特性 | G1 GC | ZGC |
|---|---|---|
| 暂停时间目标 | ~10ms ~ 200ms | < 1ms (平均) |
| 堆大小范围 | 1GB ~ 64GB+ | 8MB ~ 16TB |
| 并发阶段 | 部分并发 (标记/清理) | 几乎全并发 (染色指针) |
| 流处理适用性 | 通用，适合中等状态 | 超低延迟，大堆，状态密集型 |
| CPU开销 | 中等 | 略高 (但可接受) |
选择建议： 若流处理作业延迟要求 < 10ms 且堆 > 16GB，优先 ZGC；否则 G1 配合调优即可。注意 ZGC 需要 JDK 17+ 且支持染色指针。
3. 堆外内存的使用技巧
- 直接内存 (DirectBuffer)：用于网络传输、序列化缓冲区，避免堆内拷贝。
- RocksDB 状态后端：默认使用堆外内存（block cache、write buffer），需配置
state.backend.rocksdb.memory.managed。 - Flink 托管内存：通过
taskmanager.memory.managed.size分配堆外内存给排序、哈希表等。 - 堆外缓存：使用 Chronicle Map 或 OHC 缓存频繁访问的字典数据。
⚡ 技巧： 使用
sun.misc.Unsafe 或 ByteBuffer.allocateDirect 分配堆外内存，务必配合 -XX:MaxDirectMemorySize 限制，防止 OOM。
4. 减少对象分配的策略
流处理中每秒可能创建百万级对象，减少分配可大幅降低 GC 频率。核心策略包括：
- 对象池 / 复用：重用
Row、Tuple、Buffer等可变对象。 - 基本类型数组：使用
int[]代替List<Integer>，避免装箱。 - String 去重 / 常量池：对重复度高的字符串调用
intern()或使用自定义字典。 - 零拷贝序列化：如 Flink 的
BinaryRow直接操作二进制数据。 - 避免 lambda 捕获：减少匿名对象产生。
// 对象池示例 (Flink 中复用 MapFunction 的 Collector)
public class ReusableTupleMap implements MapFunction<String, Tuple2<String, Integer>> {
private final Tuple2<String, Integer> reuse = new Tuple2<>();
@Override
public Tuple2<String, Integer> map(String value) {
reuse.f0 = value;
reuse.f1 = value.length();
return reuse; // 注意：下游不能修改此对象
}
}