4. 看板数据流全景
看板数据流全景是理解数据血缘追溯与问题定位的基础。本章将完整解析数据从原始业务系统到最终看板展示的端到端链路，涵盖 ETL/ELT 流程差异、实时与离线场景的技术选型，以及各环节的数据形态变化。
4.1 数据流完整链路总览
一个典型的工程分析看板数据流包含 5 个核心阶段：数据源接入 → 数据集成与存储 → 数据加工与建模 → 数据服务与缓存 → 看板渲染与展示。每个阶段都会产生数据血缘节点，是后续追溯的关键锚点。
关键认知： 数据血缘追溯的粒度取决于数据流各环节的元数据采集深度。链路越完整，问题定位越精准。
4.2 ETL 与 ELT 流程对比
在数据加工阶段，ETL（Extract-Transform-Load） 和 ELT（Extract-Load-Transform） 是两种主流的架构模式。选择哪种模式直接影响数据血缘的采集方式和问题定位的效率。
| 对比维度 | ETL（传统模式） | ELT（现代模式） |
|---|---|---|
| 转换位置 | 在中间引擎（如 Informatica、DataStage）中完成 | 在目标数据仓库/湖中完成（如 Snowflake、BigQuery） |
| 数据存储 | 先转换，后加载到目标库 | 先加载原始数据，再按需转换 |
| 血缘采集难度 | 中等——需解析 ETL 工具的映射逻辑 | 较低——SQL 转换可直接从查询历史解析 |
| 问题定位效率 | 需逐层排查 ETL 作业日志 | 可直接回溯 SQL 执行计划与数据采样 |
| 适用场景 | 强合规、数据质量要求极高的场景 | 敏捷分析、数据探索、大规模原始数据保留 |
| 典型工具 | Informatica、Talend、SSIS | dbt、Spark SQL、Flink SQL |
工程实践建议： 在工程分析平台中，推荐采用 ELT + 轻量 ETL 的混合模式。原始数据先加载到数据湖（ELT），再通过 dbt 等工具进行声明式转换，这样既能保留原始数据用于回溯，又能通过 SQL 解析自动构建血缘关系。
4.3 实时与离线场景差异
看板数据流根据时效性要求分为离线（Batch）和实时（Streaming）两大场景。两者在数据源、处理引擎、存储选型和血缘追溯策略上存在显著差异。
4.3.1 离线场景（T+1 / 小时级）
- 数据源： 业务数据库（MySQL、Oracle）、日志文件（Nginx、App）、第三方 API 批量导出
- 处理引擎： Apache Spark、Hive、MapReduce
- 调度周期： 每日凌晨 / 每小时整点
- 存储选型： HDFS、Hive 分区表、ClickHouse 本地表
- 血缘特点： 血缘关系稳定，可通过调度 DAG 和 SQL 解析完整追溯；问题定位通常依赖重跑和日志对比
4.3.2 实时场景（秒级 / 分钟级）
- 数据源： Kafka 消息队列、Pulsar、CDC（Change Data Capture）流
- 处理引擎： Apache Flink、Spark Streaming、Kafka Streams
- 处理周期： 持续运行，微批次或逐条处理
- 存储选型： Redis、Druid、ClickHouse 物化视图、实时数仓
- 血缘特点： 血缘关系动态变化，需记录窗口期内的算子状态和偏移量；问题定位依赖 checkpoint 和 exactly-once 语义保障
4.4 数据流各环节的血缘追溯要点
在看板数据流中，每个环节都需要采集特定的元数据来支撑血缘追溯。下表总结了各环节的关键追溯信息：
| 环节 | 关键元数据 | 采集方式 | 问题定位价值 |
|---|---|---|---|
| 数据源 | 表名、字段、主键、更新时间戳 | JDBC 元数据接口 / 日志解析 | 确认数据是否准时到达，字段是否变更 |
| 集成层 | Topic/分区、偏移量、文件路径、分区键 | Kafka 消费者 API / HDFS Audit Log | 定位数据丢失或重复消费的根因 |
| 加工层 | SQL 文本、输入/输出表、算子类型、执行计划 | SQL 解析器 / Spark/Flink 事件监听 | 追踪指标计算逻辑是否正确，定位数据倾斜 |
| 服务层 | 查询 SQL、缓存键、TTL、命中率 | 代理层日志 / Redis 慢查询 | 判断看板加载慢是查询问题还是缓存失效 |
| 展示层 | 图表 ID、关联 SQL、筛选参数、渲染时间 | 看板前端埋点 / API 网关日志 | 确认看板展示的数据是否与预期一致 |
常见陷阱： 很多平台只采集加工层的 SQL 血缘，忽略了集成层的偏移量和服务层的缓存键。当看板数据异常时，无法区分是数据未到达、转换逻辑错误还是缓存未刷新导致的。建议至少覆盖 集成层 + 加工层 + 服务层 三个环节的元数据。
4.5 数据流全景与血缘追溯的映射关系
将数据流全景与血缘追溯能力映射，可以形成一张可追溯性矩阵，帮助团队快速评估当前平台的追溯覆盖度：
| 追溯能力等级 | 覆盖环节 | 典型场景 | 问题定位耗时 |
|---|---|---|---|
| L1 - 基础 | 仅展示层 + 加工层 | 看板数据与预期不符，只能查 SQL | 小时级 |
| L2 - 标准 | 加工层 + 服务层 | 看板加载慢，能区分查询和缓存问题 | 分钟级 |
| L3 - 高级 | 集成层 + 加工层 + 服务层 | 数据延迟或丢失，能定位到 Kafka 偏移量 | 分钟级 |
| L4 - 完整 | 数据源 → 展示层 全链路 | 端到端数据质量追溯，自动根因分析 | 秒级 |