📚 课程目录第3章数据源接入

3. 数据源接入

在看板数据刷新机制中，数据源接入是决定刷新延迟与系统稳定性的第一道关卡。工程分析平台需要同时支持多种异构数据源，并保证在高并发刷新场景下连接不被耗尽、故障能被快速感知。本节从数据源类型、连接池调优、健康检查三个维度展开。

3.1 常见数据源类型与接入方式

看板数据源按数据获取方式可分为三类：数据库、API 和消息队列。下表对比了它们的典型场景、刷新模式与适用看板类型。

数据源类型	典型实现	刷新模式	适用看板	延迟敏感度
数据库	MySQL / PostgreSQL / ClickHouse	轮询查询、CDC 订阅	实时报表、聚合大盘	中～高
API	REST / gRPC / GraphQL	定时拉取、Webhook 推送	第三方集成、微服务状态	中
消息队列	Kafka / RabbitMQ / Pulsar	流式消费、批量聚合	事件流、日志监控	高

选型建议： 对于需要秒级刷新的看板，优先使用消息队列或数据库 CDC（Change Data Capture）；对于分钟级刷新的聚合看板，API 轮询配合本地缓存即可满足需求。

3.2 连接池配置与调优

连接池是数据源接入的性能核心。错误的连接池配置会导致看板刷新时频繁创建连接、数据库连接耗尽或线程阻塞。以下为工程分析平台中推荐的连接池参数配置清单。

参数	推荐值	说明
`maximumPoolSize`	10～30	根据看板并发刷新线程数设定，避免超过数据库 max_connections
`minimumIdle`	5～10	保留常驻连接，减少冷启动延迟
`connectionTimeout`	3000 ms	超过此时间未获取到连接则抛出异常，避免无限等待
`idleTimeout`	600000 ms	空闲连接超过 10 分钟则回收，防止连接泄漏
`maxLifetime`	1800000 ms	连接最大存活 30 分钟，强制替换老旧连接
`validationQuery`	`SELECT 1`	连接池在借出连接前执行轻量查询，验证连接有效性

  实践要点：
  每个数据源独立配置连接池，避免看板 A 的慢查询拖垮看板 B 的连接。
使用 HikariCP 作为连接池实现，其性能在微秒级获取连接，适合高频刷新场景。
连接池大小 = (核心线程数 × (1 + 阻塞系数))，阻塞系数通常取 0.2～0.5。

3.3 数据源健康检查机制

健康检查是保障看板数据可靠性的最后一道防线。当数据源不可用时，看板应快速降级或显示缓存数据，而非阻塞刷新线程。健康检查分为三个层级。

连接级检查： 每次从连接池获取连接时执行 validationQuery，失败则立即标记连接为不可用并尝试重试。
心跳级检查： 后台独立线程每隔 5～10 秒对每个数据源发送轻量探测请求（如数据库 SELECT 1、API GET /health、MQ 生产一条空消息并消费）。
业务级检查： 看板刷新时记录查询耗时与结果行数，连续 3 次超时或返回空结果则触发告警并切换至备用数据源。

避坑提醒： 不要将健康检查与业务查询共用同一个连接，否则健康检查失败会误判数据源不可用。建议为健康检查预留独立的连接池或使用轻量 HTTP 端点。

3.4 数据源接入架构总览

下图展示了工程分析平台中数据源接入的整体架构，包含连接池管理、健康检查调度与看板刷新引擎的交互关系。

3.5 多数据源切换与降级策略

当主数据源健康检查失败时，看板应自动切换至备用数据源或降级显示。以下为推荐的降级优先级策略。

优先级	策略	实现方式	对用户影响
1	切换至备用数据源	DNS 切换 / 读写分离库 / 同城灾备	无感知
2	使用本地缓存数据	Redis / 内存缓存，保留最近一次完整刷新结果	数据延迟增加
3	显示静态占位图	看板组件展示“数据加载中”或历史快照	功能降级
4	触发告警并暂停刷新	发送钉钉/邮件告警，停止该数据源的所有刷新任务	看板不可用

  工程实现示例： 使用 Python 的 HikariCP 连接池配置与健康检查回调。

from hikari import HikariCP

config = {
    "jdbc_url": "jdbc:mysql://localhost:3306/dashboard",
    "username": "reader",
    "password": "****",
    "maximum_pool_size": 20,
    "minimum_idle": 5,
    "connection_timeout": 3000,
    "idle_timeout": 600000,
    "max_lifetime": 1800000,
    "validation_query": "SELECT 1",
    "health_check_interval": 5,  # 秒
    "health_check_query": "SELECT 1",
    "on_health_check_failure": lambda ds: switch_to_backup(ds)
}

pool = HikariCP(config)
connection = pool.get_connection()

通过上述连接池配置与健康检查机制，看板数据源接入层能够在高并发刷新场景下保持稳定，并在故障发生时快速降级，保障工程分析平台的可用性。