第3章 特征读写的数据流分类：读密集流、写密集流、混合流、实时流与批量流

3.1 边界识别：为什么需要明确的数据流分类

在特征读写系统中，不同数据流对并发控制、资源分配和封装边界的要求截然不同。若不区分数据流类型，直接采用统一读写策略，将导致：

• 读密集流被写操作阻塞，缓存命中率下降
• 写密集流因锁争用引发吞吐量雪崩
• 混合流读写比例动态变化时缺乏自适应调节
• 实时流与批量流在优先级、时效性和数据量上冲突

边界识别的核心任务是：根据业务场景识别每条数据流的读写比率、时效性要求、数据量级，将其归类到五种基本流型中，为后续分层封装和并发控制提供决策依据。

3.2 五种数据流定义与对比

3.3 分层职责与数据流/控制流设计

基于上述分类，架构分层应遵循以下职责分配：

• 接入层：识别数据流类型并打标签（stream_type: read_dense | write_dense | mixed | realtime | batch）
• 调度层：根据流类型分配不同的并发控制策略（读优先锁、写缓冲队列、实时优先级队列等）
• 存储层：为读密集流部署多级缓存，为写密集流使用LSM-Tree或写优化存储
• 控制流：通过元数据节点协调流之间的资源配额和优先级，避免实时流被批量流淹没

3.4 并发冲突处理矩阵

3.5 封装策略与权衡取舍

针对每种数据流，封装时应关注以下核心权衡：

• 读密集流：优先保证缓存一致性，接受弱一致性写（最终一致），牺牲写性能换取读吞吐。
• 写密集流：使用写缓冲+异步刷盘，风险是缓冲丢失，需权衡持久化延迟。
• 混合流：采用读写分离（主写从读）或CQRS模式，增加架构复杂度但提升弹性。
• 实时流：独立线程池+有界队列，队列满时降级（丢弃或重试），避免影响其他流。
• 批量流：分片并发+限流，防止单次批量写入阻塞实时流量。

3.6 落地步骤

1. 流量审计：在生产环境部署数据流探针，采集24小时读写比例、QPS、时延分布。
2. 分类映射：根据采集结果将每个特征通道映射到五种流型之一，允许动态重映射。
3. 分层封装：在接入层插入分类标签，在调度层为每种流型实例化独立的并发控制器。
4. 压测验证：使用混合压测工具模拟同时注入五种流型，观察冲突点是否被隔离。
5. 灰度上线：先对非关键特征通道应用新分类策略，逐步推广到核心通道。

3.7 验收标准

• 读密集流 P99 读时延 ≤ 5ms，写时延可容忍至 100ms
• 写密集流 P99 写时延 ≤ 20ms，无写缓冲溢出事件
• 混合流在读写比例动态变化（30%~70%）时，P99 时延偏离基线 ≤ 30%
• 实时流与批量流混合运行时，实时流 P99 时延不受批量流影响（偏差 ≤ 10%）
• 所有流型在调度层均通过单元测试，定义明确的边界行为

3.8 数据流分类边界关系

3.9 本章小结

数据流分类是特征读写系统架构设计的起点。通过将流分为读密集、写密集、混合、实时和批量五类，可以针对性地设计并发控制、资源隔离和封装策略。关键验收标准必须量化到P99时延、冲突事件和动态适应能力，确保每个边界在生产环境中可观测、可验证。