3. 迁移与扩容需求分析
时序数据平台的迁移与扩容,本质上不是一次“把数据搬过去”的动作,而是一次以未来业务负载为输入、以SLA和成本为约束、以合规与风险容忍度为边界的容量决策。需求分析阶段如果只给出“当前写入约50万点/秒、磁盘占用20TB”这类现状数字,后续选型和扩容节奏几乎必然失准。真正需要回答的是:未来12~24个月业务会增长到什么量级,平台必须承诺什么样的可用性与查询延迟,为此需要预留多少写入、存储和查询资源,以及在预算和合规红线内允许多大的性能波动。
一、业务增长预测:把业务语言翻译成时序指标
业务增长预测不能停留在“用户数翻倍”这种笼统判断,而要落到时序平台可度量的四个维度:设备/实例数、每实例测点数、采集频率、标签基数。以工业物联网场景为例,假设当前接入10万台设备,每台平均200个测点,采集周期10秒,则写入速率约为 100000×200÷10 = 200万点/秒。若业务规划显示明年设备数增长60%、单设备测点增加20%、部分高频场景采集周期缩短到1秒,则写入速率将变为 160000×240÷1 ≈ 3840万点/秒,增长近19倍。这个数字才是容量规划的真实起点。
标签基数(series cardinality)往往比点数增长更危险。设备数增长会线性推高基数,而新增一个“工单号”“批次号”类标签可能让基数呈数量级跃升,直接冲击索引内存。因此预测时必须单独列出高基数标签的引入计划,并评估其对内存和查询性能的影响。
二、SLA定义:可量化、可验证、可分级
SLA不是一句“高可用”,而应拆成写入可用性、查询延迟、数据持久性和恢复时间四类指标。例如:写入成功率≥99.95%(按月),最近1小时数据查询P95延迟≤500ms,历史1年数据查询P95延迟≤5s,数据持久性11个9,故障恢复RTO≤30分钟、RPO≤1分钟。不同业务线可以分级:核心监控走最高等级,经营分析类报表可放宽到P95≤30s。
SLA定义还要明确统计口径:延迟从请求发出算还是从服务端接收算,失败请求是否计入分母,维护窗口是否豁免。口径不一致会导致迁移后验收争议。
三、容量规划指标:写入、存储、查询、索引四条线
容量规划需要同时盯住四条资源线。写入线关注每秒点数、批量大小、并发连接数;存储线关注原始数据量、压缩率、副本数和保留周期;查询线关注QPS、扫描行数、聚合复杂度;索引线关注活跃series数、索引内存占用。一个可用的估算公式是:
日增原始数据量 = 写入速率(点/秒) × 86400 × 平均点大小(字节)
实际落盘量 = 日增原始数据量 ÷ 压缩率 × 副本数
总存储 = 实际落盘量 × 保留天数 × (1 + 增长余量)
示例:200万点/秒、平均16字节/点、压缩率8:1、副本2、保留180天,则日增原始约2.76TB,落盘约0.69TB,总存储约124TB,加30%余量约161TB。这个结果直接决定存储选型和分片数量。
四、成本约束、风险容忍度与合规要求
成本约束要区分一次性迁移成本和持续运行成本。迁移成本包括带宽、临时双写集群、人力;运行成本包括存储、计算、跨可用区流量和备份。常见取舍是:用更高压缩率换CPU开销,用更长保留期换冷热分层,用多副本换成本。风险容忍度决定冗余级别:能否接受单节点故障、单可用区故障,还是必须跨区域容灾。合规要求则约束数据驻留地域、加密方式、审计日志保留和访问控制,例如金融行业要求数据不出境、传输与静态加密、操作留痕不少于6个月。
五、把需求分析落成一份可评审的容量决策表
需求分析的最终交付物不是一段描述,而是一张可评审、可追踪的决策表。建议至少包含以下字段:业务线、当前写入速率、预测写入速率、SLA等级、保留周期、副本数、估算存储、合规要求、风险等级、扩容触发阈值。扩容触发阈值尤其关键,例如“写入队列积压持续5分钟超过10万点”或“磁盘使用率超过70%”即触发扩容,避免等到SLA已经劣化才被动响应。
| 业务线 | 当前写入 | 预测写入 | SLA等级 | 保留 | 副本 | 估算存储 | 合规 | 扩容触发 |
|---|---|---|---|---|---|---|---|---|
| 核心设备监控 | 200万点/秒 | 3840万点/秒 | P95≤500ms | 180天 | 2 | 161TB | 数据不出境 | 磁盘>70% |
| 经营分析报表 | 20万点/秒 | 60万点/秒 | P95≤30s | 3年 | 2 | 约90TB | 审计留痕 | 查询排队>5min |
| 边缘临时采集 | 5万点/秒 | 15万点/秒 | 尽力而为 | 30天 | 1 | 约3TB | 本地驻留 | 按季度评估 |
综合来看,业务增长预测提供输入量,SLA定义提供质量目标,容量规划指标把两者翻译成可采购、可部署的资源数字,成本约束和风险容忍度决定冗余与分层策略,合规要求划定不可逾越的边界。六者共同构成迁移与扩容需求分析的完整闭环,也是后续架构选型、迁移方案和验收标准的共同依据。