4. 数据生命周期总览
金融历史行情湖仓不是一次性建成的静态系统，而是一条持续运转的数据流水线。行情数据从交易所、行情商、资讯终端流入，经过清洗、建模、计算、对外服务，最终在合规期限到达后归档或销毁。把这条流水线拆成采集、存储、计算、服务、归档、销毁六个阶段，是湖仓工程落地时最实用的顶层框架。每个阶段都有独立的目标、挑战和关键指标，任何一个阶段失衡，都会在后续环节被放大。
一、六阶段的目标、挑战与关键指标
下表给出六个阶段的核心定位。注意“关键指标”不是越多越好，每个阶段选 2～3 个能驱动决策的指标即可，否则监控会变成噪音。
| 阶段 | 核心目标 | 典型挑战 | 关键指标 |
|---|---|---|---|
| 采集 | 完整、及时、可追溯地接入行情源 | 源格式异构、断线重连、乱序与重复 | 端到端延迟、丢包率、重复率 |
| 存储 | 低成本保存原始与加工数据，支持多引擎读取 | 小文件膨胀、分区设计、冷热分层 | 存储成本/GB、小文件数、查询扫描量 |
| 计算 | 产出复权、指标、因子等衍生数据 | 回刷成本、口径一致性、任务依赖 | 任务成功率、回刷耗时、口径偏差率 |
| 服务 | 低延迟、高并发地对外提供行情查询 | 热点标的、缓存穿透、权限隔离 | P99 延迟、QPS、缓存命中率 |
| 归档 | 将低频数据迁移到低成本介质并保留可查性 | 归档后仍被查询、格式兼容 | 归档比例、恢复时长、归档成本 |
| 销毁 | 按合规要求安全删除，且可审计 | 误删、跨副本残留、审计留痕 | 销毁完成率、审计记录完整率 |
二、核心原理：价值密度与合规成本的双向曲线
行情数据的价值密度随时间快速衰减：最近一个交易日的逐笔数据是策略、风控、监控的核心资产；三个月前的分钟线仍有回测价值；三年前的逐笔数据通常只在合规审计或极端复盘时被访问。与此同时，合规成本却随时间上升——数据留存越久，隐私与授权风险、存储与审计负担越大。两条曲线交叉的位置，就是归档与销毁策略的决策点。
因此，生命周期设计的本质是：让数据在价值最高的阶段享受最好的资源，在价值衰减后平滑降级，在合规边界处干净退出。这要求六个阶段之间共享统一的元数据与血缘，否则归档后无法定位、销毁时无法证明“删干净了”。
三、方法流程：从接入到退出的工程化落地
把六阶段落到工程上，需要一条可执行的流程。以下清单是金融行情湖仓常见的落地顺序，每一步都对应明确的产出物与验收标准。
- 采集层：统一接入网关，按源类型（逐笔、快照、K 线、资讯）定义 schema 与水位线，落地原始区（Raw Zone），保留原始报文以便重放。
- 存储层：原始区用对象存储 + 列式格式，加工区按“交易所/资产类别/日期”分区，控制单分区文件大小在 128MB～512MB，避免小文件。
- 计算层：以批流一体方式产出复权因子、分钟线、日线、指标与因子，所有任务登记血缘，支持按日期区间回刷。
- 服务层：通过查询网关对外提供 API，热点数据进缓存，冷数据走湖仓直查，权限按用户与标的双重隔离。
- 归档层：按“热→温→冷”策略迁移，冷数据保留可查元数据，实际数据转低成本介质，恢复时长纳入 SLA。
- 销毁层：按合规期限触发删除，覆盖所有副本与备份，生成审计记录，确保不可恢复且可证明。
# 归档策略示例（按数据年龄分层）
hot: age <= 30d -> SSD / 本地缓存
warm: 30d < age <= 365d -> 对象存储标准层
cold: 365d < age <= 1825d -> 对象存储低频层
purge: age > 1825d -> 合规审批后销毁
# 销毁审计日志字段
dataset, partition, rule_id, operator, approved_by, deleted_at, checksum_before四、案例与场景：一次“归档后仍被查询”的复盘
某券商将三年前的逐笔行情归档到低频存储，三个月后风控部门因监管检查需要调取该区间数据。由于归档时只迁移了数据文件，未同步更新查询网关的路由规则，查询请求仍指向热存储路径，导致大量查询失败。复盘结论有三点：其一，归档不是“搬走文件”，而是“变更数据位置并同步元数据与路由”；其二，归档后必须保留可查性，恢复时长要写入 SLA；其三，销毁前必须确认无未完成的审计与回测依赖。
五、关键指标与监控闭环
六阶段的指标要形成闭环：采集的丢包率会直接影响计算的准确性，存储的小文件数会拖慢服务查询，归档比例会影响成本，销毁完成率决定合规底线。建议在湖仓之上建一张“生命周期健康度”看板，按阶段聚合指标，并设置阈值告警。例如，当某日采集丢包率超过 0.1% 时，自动暂停下游计算任务并通知值班；当冷数据查询恢复时长超过 30 分钟时，触发归档策略复核。
最后需要强调：生命周期管理不是一次性项目，而是持续运营。行情源在变、合规要求在变、查询模式在变，六阶段的策略也必须随之调整。把每个阶段的目标、挑战与指标写进工程规范，并定期复盘，才能让湖仓在成本、时效与合规之间保持长期平衡。