3. 迁移与扩容需求分析

时序数据平台的迁移与扩容,本质上不是一次“把数据搬过去”的动作,而是一次以未来业务负载为输入、以SLA和成本为约束、以合规与风险容忍度为边界的容量决策。需求分析阶段如果只给出“当前写入约50万点/秒、磁盘占用20TB”这类现状数字,后续选型和扩容节奏几乎必然失准。真正需要回答的是:未来12~24个月业务会增长到什么量级,平台必须承诺什么样的可用性与查询延迟,为此需要预留多少写入、存储和查询资源,以及在预算和合规红线内允许多大的性能波动。

一、业务增长预测:把业务语言翻译成时序指标

业务增长预测不能停留在“用户数翻倍”这种笼统判断,而要落到时序平台可度量的四个维度:设备/实例数、每实例测点数、采集频率、标签基数。以工业物联网场景为例,假设当前接入10万台设备,每台平均200个测点,采集周期10秒,则写入速率约为 100000×200÷10 = 200万点/秒。若业务规划显示明年设备数增长60%、单设备测点增加20%、部分高频场景采集周期缩短到1秒,则写入速率将变为 160000×240÷1 ≈ 3840万点/秒,增长近19倍。这个数字才是容量规划的真实起点。

标签基数(series cardinality)往往比点数增长更危险。设备数增长会线性推高基数,而新增一个“工单号”“批次号”类标签可能让基数呈数量级跃升,直接冲击索引内存。因此预测时必须单独列出高基数标签的引入计划,并评估其对内存和查询性能的影响。

二、SLA定义:可量化、可验证、可分级

SLA不是一句“高可用”,而应拆成写入可用性、查询延迟、数据持久性和恢复时间四类指标。例如:写入成功率≥99.95%(按月),最近1小时数据查询P95延迟≤500ms,历史1年数据查询P95延迟≤5s,数据持久性11个9,故障恢复RTO≤30分钟、RPO≤1分钟。不同业务线可以分级:核心监控走最高等级,经营分析类报表可放宽到P95≤30s。

SLA定义还要明确统计口径:延迟从请求发出算还是从服务端接收算,失败请求是否计入分母,维护窗口是否豁免。口径不一致会导致迁移后验收争议。

三、容量规划指标:写入、存储、查询、索引四条线

容量规划需要同时盯住四条资源线。写入线关注每秒点数、批量大小、并发连接数;存储线关注原始数据量、压缩率、副本数和保留周期;查询线关注QPS、扫描行数、聚合复杂度;索引线关注活跃series数、索引内存占用。一个可用的估算公式是:

日增原始数据量 = 写入速率(点/秒) × 86400 × 平均点大小(字节)
实际落盘量 = 日增原始数据量 ÷ 压缩率 × 副本数
总存储 = 实际落盘量 × 保留天数 × (1 + 增长余量)

示例:200万点/秒、平均16字节/点、压缩率8:1、副本2、保留180天,则日增原始约2.76TB,落盘约0.69TB,总存储约124TB,加30%余量约161TB。这个结果直接决定存储选型和分片数量。

四、成本约束、风险容忍度与合规要求

成本约束要区分一次性迁移成本和持续运行成本。迁移成本包括带宽、临时双写集群、人力;运行成本包括存储、计算、跨可用区流量和备份。常见取舍是:用更高压缩率换CPU开销,用更长保留期换冷热分层,用多副本换成本。风险容忍度决定冗余级别:能否接受单节点故障、单可用区故障,还是必须跨区域容灾。合规要求则约束数据驻留地域、加密方式、审计日志保留和访问控制,例如金融行业要求数据不出境、传输与静态加密、操作留痕不少于6个月。

迁移与扩容需求分析:输入—约束—容量决策链 业务增长预测 设备数 × 测点数 采集频率 / 标签基数 → 写入速率(点/秒) 示例:200万→3840万点/秒 SLA定义 写入可用性 ≥99.95% 查询P95 ≤500ms / 5s RTO≤30min / RPO≤1min 分级:核心 / 分析 成本约束 一次性迁移成本 持续存储 / 计算 / 流量 压缩率 ↔ CPU 取舍 冷热分层 / 保留周期 风险与合规 单节点 / 单AZ / 跨区域 数据驻留地域 传输与静态加密 审计日志 ≥6个月 容量规划指标(四条资源线) 写入线 点/秒 · 批量 · 并发 存储线 压缩率 · 副本 · 保留 查询线 QPS · 扫描行 · 聚合 索引线 活跃series · 索引内存 估算示例: 200万点/秒 × 86400 × 16B ≈ 2.76TB/日(原始) ÷ 8:1压缩 × 2副本 ≈ 0.69TB/日(落盘) × 180天 × 1.3余量 ≈ 161TB 总存储需求 → 决定分片数与存储选型 容量决策:分片数 · 副本策略 · 扩容节奏 · 预算方案 在SLA、成本、风险、合规四重约束下取可行解

五、把需求分析落成一份可评审的容量决策表

需求分析的最终交付物不是一段描述,而是一张可评审、可追踪的决策表。建议至少包含以下字段:业务线、当前写入速率、预测写入速率、SLA等级、保留周期、副本数、估算存储、合规要求、风险等级、扩容触发阈值。扩容触发阈值尤其关键,例如“写入队列积压持续5分钟超过10万点”或“磁盘使用率超过70%”即触发扩容,避免等到SLA已经劣化才被动响应。

业务线当前写入预测写入SLA等级保留副本估算存储合规扩容触发
核心设备监控200万点/秒3840万点/秒P95≤500ms180天2161TB数据不出境磁盘>70%
经营分析报表20万点/秒60万点/秒P95≤30s3年2约90TB审计留痕查询排队>5min
边缘临时采集5万点/秒15万点/秒尽力而为30天1约3TB本地驻留按季度评估
需求分析阶段应让业务、运维、安全三方共同签字确认预测口径和SLA统计方式,否则迁移验收时“延迟是否达标”会因口径不同而反复扯皮。
最常见的失误是把“当前峰值”直接当作“未来均值”来规划。业务增长预测必须包含峰值系数(通常1.5~3倍)和突发场景(如批量补传、故障恢复后的数据回灌),否则扩容后很快再次触顶。

综合来看,业务增长预测提供输入量,SLA定义提供质量目标,容量规划指标把两者翻译成可采购、可部署的资源数字,成本约束和风险容忍度决定冗余与分层策略,合规要求划定不可逾越的边界。六者共同构成迁移与扩容需求分析的完整闭环,也是后续架构选型、迁移方案和验收标准的共同依据。