2. 物联网时序数据特征与架构挑战

物联网时序数据平台的设计难点，并不在于“能不能把数据存下来”，而在于数据本身的形态与访问方式会同时挤压存储、写入、查询和成本四个方向。理解这些特征，是后续选型、分片、压缩、索引与生命周期策略的前提。本节围绕六个相互牵连的维度展开：数据模型、时间戳语义、乱序与缺失、高基数、写入吞吐、查询模式与成本约束。

一、数据模型：设备—测点—样本的三层结构

物联网时序数据最自然的模型是“设备—测点—样本”。设备是逻辑实体，例如一台空压机、一只智能电表；测点是设备上可被独立采集的物理量或状态量，例如出口压力、有功功率、运行状态；样本则是某个测点在某个时刻的取值。一个样本通常由四元组构成：(metric, tags, timestamp, value)。其中 metric 是测点名称，tags 是描述维度的键值对（如 device_id、line、region），timestamp 是时间戳，value 是数值或布尔量。

这种模型的关键在于：tags 决定时间线（series）的划分。同一 metric 下，tags 组合不同即视为不同时间线。例如 metric=pressure 配合 device_id=A 与 device_id=B 是两条独立时间线。因此，tags 的设计直接决定了基数规模、索引大小和查询过滤效率。实践中应遵循“高选择性、低变更”的原则：设备 ID、产线、区域适合作为 tags；而随时间变化的数值（如温度读数）绝不能作为 tags，否则时间线数量会爆炸。

二、时间戳语义：精度、时区与事件时间

时间戳看似简单，却最容易埋下隐患。首先要区分三种时间：事件时间（数据实际发生的时刻）、采集时间（网关读取的时刻）、入库时间（写入存储的时刻）。乱序与延迟的本质，就是这三者不一致。平台应以事件时间作为查询与聚合的主轴，同时保留入库时间用于审计与延迟分析。

其次是精度与单位。常见精度有秒、毫秒、微秒、纳秒。若采集端用毫秒而存储端按秒截断，高频数据会大量碰撞。建议统一以毫秒或微秒为内部基准，并在接入层显式声明单位。第三是时区：存储层应统一使用 UTC，展示层再按业务时区转换，避免跨区域设备在夏令时切换时出现重复或缺失小时。

三、乱序与缺失：必须显式处理的两类异常

网络抖动、网关缓存重传、设备时钟漂移，都会导致数据到达顺序与事件时间顺序不一致。平台需要设定一个乱序容忍窗口（allowed lateness），例如 5 分钟：窗口内的迟到数据仍参与聚合，超出则进入旁路或丢弃并计数。缺失则分为“真缺失”（设备离线未采集）与“假缺失”（数据已到但未落库）。前者应在查询时以空值或插值标记，后者需通过写入确认与对账发现。

四、高基数：时间线数量的隐形天花板

基数指不同时间线的数量。假设有 5000 台设备，每台 20 个测点，则时间线约 10 万条；若 tags 中再加入 batch_id 这类高变化维度，时间线可能膨胀到千万级。高基数带来的直接后果是：内存索引膨胀、写入放大、查询时元数据扫描变慢。控制手段包括：限制 tags 数量与取值域、对低价值维度做哈希或丢弃、按时间分区而非按设备分区、以及使用支持高基数压缩的存储引擎。判断是否需要治理，可观察“时间线增长率”与“单条时间线平均样本数”两个指标：前者持续上升而后者很低，说明大量时间线是稀疏的，应合并或降维。

五、写入吞吐：从采集到落库的链路压力

以 5000 台设备、每台 20 测点、每秒采集一次估算，写入速率为 10 万点/秒。若每个点约 30 字节，则原始吞吐约 3 MB/s，日增约 260 GB。这要求写入路径具备批量提交、顺序追加、列式压缩和异步刷盘能力。典型做法是：接入层先做协议解析与单位归一，再按 (metric, tags) 聚合为批次，每批 1000～5000 点写入；存储层采用 LSM 或列式结构，利用时间局部性压缩。需要监控的指标包括写入延迟 P99、批大小分布、压缩比和落盘队列深度。

六、查询模式与成本约束

物联网查询大致分四类：最新值查询（看当前状态）、范围扫描（看某时间段曲线）、降采样聚合（看趋势与报表）、异常检测（看越限与突变）。它们的成本差异极大：最新值查询应走内存或缓存；范围扫描依赖时间分区裁剪；降采样应预计算物化视图；异常检测则常需流式规则与历史回查结合。

成本约束来自存储、计算与网络三方面。冷热分层是常用手段：热数据保留 7～30 天，全精度；温数据保留 3～12 个月，降采样到分钟级；冷数据归档到对象存储，按需恢复。以下是一个可参考的保留策略示例（参数为教学假设，需按实际业务调整）：