3. 指标采集架构总览：采集层、处理层、存储层、可视化层的整体架构设计，以及各层之间的数据流
一个生产级的 DORA 度量平台，其架构通常划分为四个清晰的逻辑层：采集层、处理层、存储层和可视化层。每一层承担独立的职责，并通过标准化的数据流进行协作。理解这一分层架构，是构建可扩展、可维护的度量服务目录的基础。
3.1 四层架构职责与组件
下表总结了各层的核心职责、典型组件以及关键设计考量：
| 架构层 | 核心职责 | 典型组件 / 工具 | 关键设计考量 |
|---|---|---|---|
| 采集层 | 从 DevOps 工具链（Git、CI/CD、监控系统）中拉取或接收原始事件数据。 | Webhook 接收器、API 轮询器（如 GitHub API）、日志采集代理（如 Filebeat）、事件总线（如 Kafka） | 数据源认证、幂等性、断点续传、采集频率控制 |
| 处理层 | 对原始数据进行清洗、标准化、关联计算，生成 DORA 指标（如部署频率、变更前置时间）。 | 流处理引擎（如 Flink）、批处理框架（如 Spark）、无服务器函数（如 AWS Lambda）、规则引擎 | 时间窗口对齐、数据去重、异常值处理、计算延迟 |
| 存储层 | 持久化原始事件、中间结果和最终指标，支持高效查询与回溯。 | 时序数据库（如 Prometheus、InfluxDB）、关系型数据库（如 PostgreSQL）、对象存储（如 S3） | 数据保留策略、冷热分层、查询性能、数据一致性 |
| 可视化层 | 将指标以仪表盘、报表、告警等形式呈现给不同角色（如工程师、管理者）。 | Grafana、Kibana、自定义 Web 应用、Slack/钉钉机器人 | 权限隔离、数据下钻、刷新频率、移动端适配 |
架构原则： 每一层都应具备水平扩展能力。例如，采集层可以通过增加 Kafka 分区来应对突发流量；处理层可以通过增加 Flink 并行度来缩短计算窗口。
3.2 数据流全景与分层交互
下图展示了从原始事件到最终仪表盘数据的完整流动路径。箭头方向代表数据流向，各层之间通过明确的接口（API、消息队列、数据库连接）进行解耦。
3.3 各层之间的关键数据流
数据在层间流动时，需要遵循特定的协议和格式。以下是三个关键数据流的详细说明：
- 采集层 → 处理层（原始事件流）
- 数据格式： JSON 或 Avro，包含事件类型、时间戳、来源、负载。
- 传输方式： 通过消息队列（如 Kafka Topic）进行异步解耦，确保削峰填谷。
- 示例事件：
{"event": "deploy", "timestamp": 1700000000, "service": "api-gateway", "status": "success"}
- 处理层 → 存储层（标准化指标）
- 数据格式： 时序数据点（Metric + Label + Value + Timestamp）或关系型行记录。
- 写入策略： 批量写入（如每 30 秒 flush 一次）以平衡吞吐与实时性。
- 典型指标：
deploy_frequency{team="platform", env="prod"} 12
- 存储层 → 可视化层（查询请求与响应）
- 交互协议： 通过 REST API 或 SQL 查询。Grafana 使用 PromQL 查询 Prometheus。
- 数据范围： 可视化层通常请求最近 7 天或 30 天的聚合数据，避免全表扫描。
- 缓存策略： 在可视化层或存储层前方设置缓存（如 Redis），减少重复查询压力。
3.4 架构设计中的常见陷阱
避坑指南：
- 采集层过度耦合： 不要将采集逻辑直接嵌入业务代码。应使用独立代理或 Webhook 接收器，避免因采集故障影响核心服务。
- 处理层时间窗口混乱： 不同数据源的时间戳可能基于不同时区或时钟。必须在处理层统一转换为 UTC 时间，并处理时钟偏差。
- 存储层忽略数据保留： 原始事件数据量巨大，若不设置保留策略（如原始数据保留 30 天，聚合数据保留 1 年），存储成本会失控。
- 可视化层直接查询原始表： 应创建物化视图或预聚合表供可视化层查询，避免每次仪表盘刷新都触发全量计算。
3.5 架构演进路线
对于初创团队，可以从“单体采集+简单处理+单库存储+静态仪表盘”起步。随着数据量和团队规模增长，逐步演进为上述四层分离架构：
| 阶段 | 采集层 | 处理层 | 存储层 | 可视化层 |
|---|---|---|---|---|
| Phase 1 | Shell 脚本 + Cron | Python 单进程 | SQLite / CSV | Excel 图表 |
| Phase 2 | Webhook + 简单队列 | 流处理 Job | PostgreSQL | Grafana 基础面板 |
| Phase 3 | 多源采集 + Kafka | Flink + 规则引擎 | Prometheus + S3 冷存储 | Grafana + 自定义告警 |
核心要点： 四层架构的核心价值在于解耦。每一层都可以独立升级、扩缩容或替换技术栈，而不会影响上下游。在构建 DORA 度量服务目录时，应优先定义好层间接口契约（数据格式、传输协议、SLA），再填充具体实现。