3、水位线定义：容量水位线（低、中、高、危险）的设定标准与业务含义
在多集群 Catalog 容量管理中，水位线（Watermark） 是触发巡检、告警与自动扩缩容的核心阈值体系。水位线将连续的容量使用率离散化为四个等级，使运维团队能够快速判断集群健康状态并采取差异化动作。以下从设定标准和业务含义两个维度进行定义。
3.1 四档水位线标准定义
水位线基于 Catalog 整体存储使用率（已用容量 / 总分配容量 × 100%）进行划分。标准值适用于大多数生产环境，实际部署时应根据业务峰值、数据增长速率和硬件冗余度进行微调。
| 水位等级 | 使用率区间 | 颜色标识 | 巡检频率 | 典型触发条件 |
|---|---|---|---|---|
| 低水位 | 0% – 40% | 绿色 | 每日 1 次 | Catalog 新建或刚完成数据清理 |
| 中水位 | 40% – 70% | 蓝色 | 每日 2 次 | 常规业务写入，数据量平稳增长 |
| 高水位 | 70% – 90% | 橙色 | 每 4 小时 1 次 | 大促活动、批量数据导入、历史数据未及时清理 |
| 危险水位 | 90% – 100% | 红色 | 每 30 分钟 1 次 | 存储接近饱和，写入可能被限流或失败 |
水位线校准建议： 如果 Catalog 底层使用 HDFS 或对象存储，建议将危险水位下调至 85%，因为分布式文件系统在接近满容量时会出现严重的写入抖动和 NameNode 压力。
3.2 各水位线的业务含义与运维动作
每个水位等级对应明确的业务影响和标准操作流程（SOP），避免过度告警或响应滞后。
- 低水位（0% – 40%）： 健康状态，无需干预。巡检仅记录当前使用趋势，用于容量规划基线。
- 中水位（40% – 70%）： 正常运营区间，但需关注增长斜率。运维动作包括：
— 检查近 7 天数据增量趋势；
— 评估是否需要提前申请扩容资源（采购周期通常为 2–4 周）。 - 高水位（70% – 90%）： 预警状态，需主动治理。运维动作包括：
— 触发自动或手动数据生命周期策略（TTL 过期、归档至冷存储）；
— 排查是否存在无效表、临时表或未清理的 Stage 文件；
— 通知业务方评估数据保留周期。 - 危险水位（90% – 100%）： 紧急状态，需立即止损。运维动作包括：
— 暂停非核心写入任务（如离线批处理、临时查询）；
— 强制清理可删除数据（如超过 30 天的临时表）；
— 触发紧急扩容流程（若支持在线扩容则立即执行）；
— 发送 P0 级告警至值班 SRE 和业务负责人。
避坑提示： 危险水位不应设置为 100%。当使用率达到 95% 时，多数存储系统（如 HDFS、Ceph）的写入性能会急剧下降，甚至出现元数据锁竞争。建议将危险水位上限设为 95%，并在达到该值时立即执行熔断操作。
3.3 水位线动态调整策略
固定水位线无法适应所有业务场景，生产环境通常采用 动态水位线 机制，结合历史趋势和业务日历自动调整阈值。
| 调整维度 | 调整方式 | 示例 |
|---|---|---|
| 时间窗口 | 根据近 30 天 P95 使用率动态偏移 | 若 P95 使用率持续低于 35%，低水位上限可上调至 45% |
| 业务日历 | 大促/结算日提前降低高水位触发阈值 | 双十一期间高水位从 70% 临时下调至 60% |
| 存储类型 | SSD 与 HDD 混合集群分别设定 | SSD 危险水位设为 85%，HDD 设为 90% |
3.4 水位线状态转换与巡检流程
下图展示了水位线之间的转换关系以及对应巡检流程的触发逻辑。每个 Catalog 实例独立维护水位状态，状态变更时自动切换巡检频率和告警级别。
3.5 多集群场景下的水位线差异化配置
在多集群环境中，不同 Catalog 可能承载不同业务线或数据重要性等级，水位线不应全局统一。推荐按集群角色进行差异化配置：
- 核心交易集群： 高水位阈值下调至 60%，危险水位下调至 80%，确保写入性能始终处于最佳区间。
- 离线分析集群： 使用标准水位线，允许在夜间批量任务期间短暂进入高水位。
- 冷数据归档集群： 高水位可上调至 85%，危险水位上调至 95%，因为冷数据写入频率低，对延迟不敏感。
最佳实践： 水位线配置应作为 Catalog 元数据的一部分存储在配置中心（如 ZooKeeper 或 etcd），巡检引擎启动时动态拉取。避免将水位线硬编码在巡检脚本中，否则集群扩缩容或角色变更时需要逐个修改。