4. 数据源连接：连接数据库、连接API、连接本地文件

仪表盘这东西，说白了就是数据的「脸面」。脸再好看，没有数据支撑，那就是个空壳子。我做了这么多年仪表盘定制，最深的体会就是——数据源连接这一步，决定了你后面所有工作的成败。

今天咱们就聊聊三种最常见的数据源：数据库、API、本地文件。每一种都有它的脾气，摸透了，你就能游刃有余。

4.1 连接数据库：最稳的老大哥

数据库连接，是仪表盘数据源里最传统、也最可靠的方式。我个人习惯把数据库连接分为两类：关系型数据库（MySQL、PostgreSQL、SQL Server）和非关系型数据库（MongoDB、InfluxDB）。

先看一个最典型的 MySQL 连接示例：

-- 使用 Python 的 pymysql 库
import pymysql

connection = pymysql.connect(
    host='localhost',
    user='dashboard_user',
    password='your_password',
    database='sales_db',
    charset='utf8mb4',
    cursorclass=pymysql.cursors.DictCursor
)

try:
    with connection.cursor() as cursor:
        sql = "SELECT DATE, REVENUE, REGION FROM SALES WHERE DATE >= %s"
        cursor.execute(sql, ('2024-01-01',))
        result = cursor.fetchall()
finally:
    connection.close()

连接数据库时，有几个关键参数你必须关注：

4.2 连接 API：灵活但需要耐心

API 连接，现在越来越常见了。特别是微服务架构流行以后，很多数据都藏在 RESTful API 或者 GraphQL 后面。说白了，API 就是数据的「快递员」，你得告诉它你要什么，它给你送过来。

来看一个调用 REST API 的典型例子：

import requests
import json

# 调用天气 API 获取实时数据
url = "https://api.weather.com/v1/current"
headers = {
    "Authorization": "Bearer your_api_key",
    "Content-Type": "application/json"
}
params = {
    "city": "Beijing",
    "units": "metric"
}

try:
    response = requests.get(url, headers=headers, params=params, timeout=10)
    response.raise_for_status()  # 检查 HTTP 状态码
    data = response.json()
    print(f"当前温度: {data['temperature']}°C")
except requests.exceptions.Timeout:
    print("API 请求超时，请检查网络或服务状态")
except requests.exceptions.HTTPError as e:
    print(f"HTTP 错误: {e.response.status_code}")

API 连接有几个要点，我踩过的坑都列在这里：

• 认证方式：最常见的是 API Key 和 OAuth 2.0。我个人建议用 OAuth 2.0，安全性更高。API Key 容易泄露，我在一个项目里就见过有人把 Key 硬编码在 GitHub 上……
• 限流处理：很多 API 有调用次数限制。比如每分钟最多 100 次。超过就会被封。我的做法是在代码里加一个简单的计数器，快到上限时自动暂停。
• 数据缓存：API 调用是有成本的。如果数据每小时才变化一次，你没必要每分钟都去调。缓存 5 分钟，能省下 90% 的调用量。
• 错误重试：网络不稳定是常态。我一般会写一个重试机制，失败后等 1 秒、2 秒、4 秒……最多重试 3 次。

4.3 连接本地文件：简单但别轻视

本地文件连接，听起来最简单，对吧？CSV、Excel、JSON 文件，读进来就行了。嗯，确实简单，但越简单的东西，越容易出幺蛾子。

先看一个读取 CSV 文件的例子：

import pandas as pd

# 读取 CSV 文件
df = pd.read_csv(
    'sales_data.csv',
    encoding='utf-8',
    dtype={'order_id': str, 'amount': float},
    parse_dates=['order_date']
)

# 处理缺失值
df.fillna({'amount': 0, 'region': '未知'}, inplace=True)

print(f"共加载 {len(df)} 条记录")
print(df.head())

本地文件连接，我遇到过最头疼的几个问题：

• 编码问题：CSV 文件可能是 UTF-8、GBK、甚至 ISO-8859-1。我建议统一用 UTF-8，遇到乱码就尝试用 chardet 库自动检测编码。
• 文件路径：绝对路径和相对路径的选择。我的习惯是用相对路径，配合配置文件，这样换机器部署时不用改代码。
• 大文件处理：超过 100MB 的文件，别一次性读到内存里。用分块读取（chunk）或者流式处理。
• 文件锁定：Excel 文件被其他程序打开时，Python 可能读不了。我一般会先复制一份再读取。

4.4 三种数据源的对比与选择

你可能会问：这三种方式，到底该用哪种？我的回答是：看场景。

4.5 数据源连接的最佳实践

最后，分享几个我这些年总结出来的最佳实践：

1. 统一配置管理：所有数据源的连接信息（地址、账号、密码）都放在配置文件里，不要硬编码。我用的是 YAML 格式，清晰又好维护。
2. 连接池化：不管是数据库还是 API，都建议用连接池。能复用就别新建，能缓存就别重复请求。
3. 健康检查：定期检查数据源是否可用。我一般每 5 分钟 ping 一次数据库，API 则用心跳请求。
4. 日志记录：每次数据源连接失败，都要记录详细的错误信息。包括时间、错误类型、堆栈信息。这样排查问题的时候才不会抓瞎。
5. 降级策略：当某个数据源不可用时，仪表盘不能直接崩溃。我的做法是显示缓存数据，并提示用户「数据可能不是最新的」。