2. 工程分析平台概述：平台架构、核心模块、数据流转路径简介
工程分析平台是承载指标口径验证与数据流水线协同的核心载体。本章从平台整体架构出发，依次拆解核心模块的职责边界，并梳理数据从采集到消费的完整流转路径，为后续章节的配置实践建立统一的上下文。
2.1 平台分层架构
平台采用经典的四层架构，自下而上分为数据接入层、计算存储层、分析服务层和应用交互层。各层通过明确的 API 契约解耦，支持水平扩展与独立迭代。
架构设计原则：
- 层间松耦合：每层仅依赖下层提供的标准接口，不跨层调用。
- 状态下沉：会话状态、中间结果统一由计算存储层管理，上层保持无状态。
- 可观测性内置：每层暴露健康检查、延迟、吞吐量指标，支撑全链路监控。
2.2 核心模块与职责
平台内部由六个核心模块协同工作，每个模块承担明确的工程职责：
| 模块名称 | 核心职责 | 关键组件 |
|---|---|---|
| 指标引擎 | 定义、解析、计算业务指标，支持 SQL 与自定义函数 | 指标注册中心、计算调度器 |
| 口径验证服务 | 对指标口径进行语法校验、语义一致性检查、回归比对 | 验证规则库、比对执行器、报告生成器 |
| 流水线编排 | 定义 DAG 任务依赖，管理数据加工流程的调度与重试 | DAG 解析器、任务队列、状态管理器 |
| 元数据管理 | 维护数据源、表结构、字段血缘、口径版本等元信息 | 元数据存储、血缘追踪器、版本快照 |
| 数据接入 | 对接多种数据源，完成数据采集、格式转换与初步清洗 | 连接器工厂、Schema 映射器、校验过滤器 |
| 监控告警 | 采集全链路运行指标，触发异常告警与自愈动作 | 指标采集器、告警规则引擎、通知通道 |
配置关注点：口径验证服务与流水线编排之间存在强依赖关系——验证结果会直接影响流水线的分支选择与重试策略。在后续章节中，我们将重点配置这两个模块的协同参数。
2.3 数据流转路径
数据在平台中的流转遵循“采集 → 缓冲 → 加工 → 验证 → 服务”五阶段模型。每个阶段对应明确的模块处理逻辑：
- 采集阶段：数据接入层通过连接器从业务数据库、日志流、埋点 SDK 拉取原始数据，写入消息队列（Kafka / Pulsar）。
- 缓冲阶段：消息队列作为削峰填谷的缓冲区，同时将数据持久化到对象存储，保障数据不丢失。
- 加工阶段：流水线编排模块按 DAG 定义执行 ETL 任务，包括数据清洗、维度关联、聚合计算，结果写入 OLAP 引擎。
- 验证阶段：口径验证服务对加工后的指标数据进行口径比对，输出验证报告；若发现口径偏差，触发流水线回滚或告警。
- 服务阶段：通过验证的指标数据由分析服务层封装为 API，供应用交互层消费。
2.4 模块间协同关系
各模块并非独立运行，而是通过事件总线与共享元数据形成协同网络。以下表格总结了模块间的主要交互场景：
| 源模块 | 目标模块 | 交互内容 | 触发条件 |
|---|---|---|---|
| 数据接入 | 流水线编排 | 数据到达通知、Schema 变更事件 | 新数据批次就绪 |
| 流水线编排 | 口径验证 | 待验证指标数据集、加工上下文 | 加工阶段完成 |
| 口径验证 | 流水线编排 | 验证结果（通过/失败/警告）、偏差详情 | 验证执行完毕 |
| 口径验证 | 监控告警 | 口径偏差事件、验证超时告警 | 验证结果异常 |
| 元数据管理 | 所有模块 | 口径版本、字段血缘、数据源信息 | 模块启动或元数据变更 |
常见配置陷阱：在初始部署时，容易忽略口径验证服务与流水线编排之间的超时同步配置。若验证超时时间短于流水线任务超时时间，会导致验证未完成时流水线误判为成功，产生口径不一致的数据被下游消费。建议将验证超时设置为流水线任务超时的 80%。