4、历史数据压缩原理：有损压缩与无损压缩、旋转门压缩算法、死区压缩算法
在FMS系统中，历史数据以秒级或分钟级频率持续写入数据库，未经压缩的原始数据量会迅速膨胀，导致存储成本激增、查询性能下降。历史数据压缩的核心目标是在数据保真度与存储效率之间取得平衡。本章深入剖析压缩的基本分类、两大主流工业压缩算法及其在FMS中的适用场景。
4.1 有损压缩与无损压缩
根据压缩后能否完全恢复原始数据，压缩技术分为无损压缩和有损压缩两大类。FMS历史数据通常对精度有明确容忍范围，因此有损压缩是主流选择。
| 对比维度 | 无损压缩 | 有损压缩 |
|---|---|---|
| 数据恢复 | 完全恢复原始值，无精度损失 | 恢复值与原始值存在偏差，偏差在可控范围内 |
| 压缩比 | 较低（通常 1.5:1 ~ 3:1） | 较高（通常 5:1 ~ 50:1，视死区设置而定） |
| 适用场景 | 关键报警记录、审计日志、配置变更历史 | 连续模拟量（温度、压力、流量）、趋势分析 |
| 典型算法 | Gzip、LZ4、Zstandard | 旋转门压缩、死区压缩、 swinging door |
| FMS推荐度 | 仅用于元数据与事件表 | 用于所有连续采样点（PV值） |
工程经验：在FMS项目中，建议对模拟量测点采用有损压缩，对数字量（开关状态）和报警记录采用无损压缩。混合策略可节省 60%~80% 的存储空间，同时保证关键数据的可追溯性。
4.2 旋转门压缩算法
旋转门压缩（Swinging Door Trending, SDT）是工业时序数据库中最经典的有损压缩算法之一。其核心思想是：在给定的压缩偏差（Compression Deviation, CD）范围内，用一条折线近似表示原始数据曲线，丢弃折线内部的中间点。
4.2.1 算法原理
- 初始化：以第一个数据点为基准点，建立上下两条偏差线（门框）。
- 迭代判断：每来一个新点，计算该点与基准点之间的斜率，更新上斜率最大值和下斜率最小值。
- 门关闭条件：当上斜率最小值 < 下斜率最大值时，表示当前点已超出允许偏差范围，触发“关门”——保存前一个点为关键点，并以当前点为新基准点重新开始。
- 输出：仅保留所有关键点，中间点全部丢弃。
4.2.2 参数配置与影响
| 参数 | 含义 | 推荐范围 | 对压缩效果的影响 |
|---|---|---|---|
| CompressionDev | 压缩偏差（死区宽度） | 0.5% ~ 2% 量程 | 值越大，压缩比越高，但精度损失越大 |
| MinTimeInterval | 最小保存间隔 | 10s ~ 60s | 防止长时间无关键点，保证最低采样率 |
| MaxTimeInterval | 最大保存间隔 | 300s ~ 3600s | 强制保存点，避免趋势丢失 |
算法优势：旋转门压缩对缓慢变化的工艺参数（如储罐液位、环境温度）效果极佳，压缩比可达 10:1 ~ 30:1，且能很好地保留数据趋势特征。FMS 中约 70% 的模拟量测点推荐使用此算法。
4.3 死区压缩算法
死区压缩（Deadband Compression）是一种更直观的有损压缩方法。它设定一个固定的偏差阈值（死区），只有当当前值与上一个保存值的差值超过该阈值时，才记录新点。
4.3.1 算法原理
- 保存第一个点作为基准点。
- 对于后续每个采样点，计算
|当前值 - 上一个保存值|。 - 如果差值 大于 死区阈值，则保存当前点，并更新基准点。
- 如果差值 小于等于 死区阈值，则丢弃当前点。
4.3.2 死区压缩 vs 旋转门压缩
| 对比项 | 死区压缩 | 旋转门压缩 |
|---|---|---|
| 判断依据 | 基于值与上一个保存值的差值 | 基于斜率变化与偏差带 |
| 对噪声敏感度 | 高（单个噪声点可能触发保存） | 低（斜率平均化，抗噪性强） |
| 趋势保留能力 | 一般（仅保留变化点） | 优秀（保留整体趋势形状） |
| 计算复杂度 | O(1)，极低 | O(n)，中等 |
| 适用场景 | 快速变化、对实时性要求高的测点 | 缓慢变化、需要趋势分析的测点 |
避坑指南：死区压缩的阈值设置过小会导致压缩失效（几乎保存所有点），设置过大会丢失重要变化信息。建议结合工艺参数的正常波动范围，将死区设置为量程的 1%~3%。对于存在高频噪声的测点，应先进行滤波处理再应用死区压缩。
4.4 压缩算法选型建议
在FMS数据库归档配置中，没有一种算法适合所有场景。下表给出了基于测点类型的推荐配置：
| 测点类型 | 推荐算法 | 典型参数 | 预期压缩比 |
|---|---|---|---|
| 温度（缓变） | 旋转门压缩 | CD=0.5°C, Min=30s, Max=600s | 15:1 ~ 25:1 |
| 压力（波动） | 死区压缩 | Deadband=1%量程 | 8:1 ~ 15:1 |
| 流量（稳定） | 旋转门压缩 | CD=2%量程, Min=10s, Max=300s | 20:1 ~ 40:1 |
| 液位（缓慢变化） | 旋转门压缩 | CD=0.3%量程, Min=60s, Max=1800s | 30:1 ~ 50:1 |
| 振动（高频） | 死区压缩 + 预滤波 | Deadband=5%量程 | 5:1 ~ 10:1 |
实施建议：在FMS项目上线初期，建议先以较宽松的压缩参数运行 1~2 周，收集实际数据变化特征，然后根据统计结果（如变化率分布、噪声水平）微调压缩参数。切勿直接套用其他项目的参数，不同厂务系统的工艺特性差异很大。