📚 课程目录第2章科研数据来源与获取方法

2. 科研数据来源与获取方法

科研数据分析的第一步不是画图，也不是建模，而是把数据“拿到手、拿对、拿全”。数据来源决定了后续分析的可信边界：实验测量数据强调可控与重复，问卷数据强调抽样与量表设计，公开数据集强调口径与许可，API 接口强调可复现与限流，文献数据强调提取规则与可追溯。本节围绕这五类来源，讲清它们各自适合回答什么问题、获取时具体怎么做，以及最容易踩的坑。

五类来源的定位与获取路径

先建立一个整体判断：实验测量是“自己造数据”，问卷是“自己问数据”，公开数据集是“用别人整理好的数据”，API 是“按规则持续取数据”，文献数据是“从他人成果中二次提取数据”。它们的数据所有权、可复现性和清洗成本差别很大，选择时应先问“我的研究问题需要哪种证据”。

实验测量：把“原始记录”当成第一等公民

实验测量的核心优势是变量可控，但它的风险在于“数据一旦丢了细节就无法补救”。以一台带串口输出的温湿度记录仪为例，采样间隔设为 10 秒、量程 −20～60 ℃、精度 ±0.3 ℃，连续采集 24 小时。正确做法不是只保存最终 CSV，而是同时保留：设备型号与序列号、校准日期、采样间隔、单位、时间戳时区、以及每次实验的条件备注。时间戳尤其要统一——若仪器输出本地时间而分析脚本按 UTC 解析，跨天数据会整体错位 8 小时，这类错误在图上表现为“周期性异常”，很难从数值本身看出。

获取时建议先做一次短时预采集（例如 5 分钟），检查三件事：字段是否齐全、时间戳是否单调递增、异常值是否来自真实环境而非接触不良。正式采集后立即计算缺失率与重复率，例如 24 小时应有 8640 条记录，若实际只有 8500 条，就要定位是设备重启还是传输丢包。这些判断依据应写进实验日志，而不是事后凭记忆补。

调查问卷：先定量表，再谈回收

问卷数据的关键不在“收了多少份”，而在“测的是不是同一个东西”。设计阶段要明确每个题项对应的构念、量表类型（如李克特 5 点）、反向题标记和必填规则。发放前做小样本预测试（例如 20～30 份），计算 Cronbach's α 检查内部一致性，α 低于 0.7 时优先检查反向题是否未反向计分，而不是直接删题。

回收后先做编码表：把“非常同意”映射为 5，缺失记为特定代码（如 −99）而非空白，避免统计软件把缺失当 0。随后检查有效样本：答题时长过短、连续多题同一选项、关键题缺失的样本应标记为无效并记录剔除规则。示例中若回收 320 份、剔除 18 份、有效 302 份，报告中应写明剔除依据，而不是只报有效数。

公开数据集：先读数据字典，再下载

公开数据集（如政府开放平台、领域数据仓库、竞赛平台）最大的价值是可复现，最大的陷阱是“口径不一致”。下载前必须确认四件事：数据字典中每个字段的含义与单位、采集时间范围、缺失值表示方式、许可协议是否允许再分发与商用。以某城市空气质量数据集为例，PM2.5 单位可能是 μg/m³ 也可能是 mg/m³，若不核对字典直接建模，量级会差 1000 倍。

下载后应记录数据集版本号与获取日期，并把原始压缩包原样留存。很多平台会更新数据，同一 URL 在不同时间下载到的内容可能不同，缺少版本记录会导致结果无法复现。若数据量较大，可先用前 1000 行检查字段分隔符、编码（UTF-8 还是 GBK）和日期格式，再决定解析参数。

API 接口：把“取数”写成可重跑的脚本

API 适合获取持续更新、结构化的数据，例如文献元数据、气象观测、社交平台公开内容。基本操作是：注册获取密钥 → 构造请求（端点、查询参数、时间范围）→ 处理分页 → 解析 JSON → 落盘。以下是一个示意性的请求结构（参数为示例，实际以目标平台文档为准）：

GET https://api.example.org/v1/records
  ?query=air quality
  &from=2024-01-01
  &to=2024-01-31
  &page=1
  &page_size=100
Headers: Authorization: Bearer <YOUR_TOKEN>

实操中要处理三件事：一是分页，循环请求直到返回空页或达到总数，并把每页原始响应单独保存；二是限流，遇到 429 状态码时按响应头中的重试等待时间退避，而不是密集重试；三是幂等，用记录 ID 去重，避免断点续传时重复写入。密钥绝不能写进代码仓库，应通过环境变量注入。若接口返回字段嵌套较深，解析时先打印一条完整记录确认结构，再写提取逻辑。

文献数据：提取规则先于提取动作

从文献中提取数据（如效应量、样本量、实验条件）属于二次数据，最大风险是主观偏差。做法是先制定提取表：字段名、单位、允许的取值范围、遇到“图中读数”时的换算规则。然后由两人独立提取同一批文献（例如 30 篇），计算一致率，分歧处回到原文核对并记录裁决理由。对于只有图形没有数值的结果，应明确说明读数方法与误差范围，不能把目测值当作精确值。

无论哪类来源，都建议遵守“原始层—清洗层—分析层”三层分离：原始数据只读留存，清洗脚本可重跑，分析只读清洗后的数据。这样任何一步出错都能回溯，而不是在最终结果上反复打补丁。

常见错误包括：用 Excel 打开 CSV 后直接保存导致长数字变科学计数、日期被自动转换；把缺失值填 0 后参与均值计算；API 密钥硬编码上传到公开仓库；文献提取未记录页码与图表编号导致无法复核。这些问题的共同点是“破坏了可追溯性”，一旦发生，后续所有图表都失去可信基础。

获取数据不是一次性动作，而是一套带记录的习惯：知道数据从哪来、经过什么处理、在哪个版本上分析。把来源、参数、时间和判断依据写清楚，后面的清洗与可视化才有稳固的起点。