3. 数据收集与调查设计：普查与抽样调查、问卷设计、实验设计、数据质量与偏差控制
数据收集是统计工作的基础，其质量直接决定后续分析与结论的可靠性。本章围绕数据收集的两大路径——调查与实验，系统讲解普查与抽样调查的适用场景、问卷设计的原则、实验设计的基本框架，以及贯穿全程的数据质量与偏差控制方法。掌握这些内容，是中级统计师开展规范统计实务的核心能力。
3.1 普查与抽样调查
3.1.1 核心原理
普查是对总体中全部个体逐一进行调查，理论上可获得最完整的信息，但成本高、周期长、组织难度大。我国人口普查、经济普查、农业普查均属此类。抽样调查则从总体中按一定规则抽取部分单位进行调查，并据此推断总体数量特征，是统计实务中最常用的数据收集方式。其核心逻辑在于：只要抽样过程遵循随机原则且样本量足够，样本统计量就能以可控误差逼近总体参数。
3.1.2 判断方法：选择普查还是抽样调查
| 决策维度 | 倾向普查 | 倾向抽样调查 |
|---|---|---|
| 总体规模 | 总体较小（如企业员工少于500人） | 总体庞大（如全国居民消费调查） |
| 精度要求 | 需要精确到每个单位 | 允许一定抽样误差（±3%以内可接受） |
| 成本预算 | 预算充足 | 预算有限，需控制调查费用 |
| 时间窗口 | 时间充裕（如十年一次） | 时效性强（如月度CPI调查） |
| 破坏性检测 | 不适用 | 必须抽样（如灯泡寿命测试） |
3.1.3 概率抽样与非概率抽样的操作要点
概率抽样包括简单随机抽样、系统抽样、分层抽样、整群抽样和多阶段抽样。其中分层抽样适用于总体内部差异较大的场景，能有效降低抽样误差；整群抽样则适合总体分布广、难以编制完整抽样框的情形。操作时需注意：
- 简单随机抽样必须使用随机数表或统计软件生成随机序列，避免人为主观挑选。
- 系统抽样要注意抽样间隔与总体排列周期可能重合导致的偏差（如按户号每10户抽1户，而每10户中恰好有1户为商铺）。
- 分层抽样各层样本量可按比例分配或最优分配（考虑层内方差与成本）。
非概率抽样（方便抽样、判断抽样、配额抽样、滚雪球抽样）虽操作便捷，但无法计算抽样误差，推断总体时需极为谨慎，一般仅用于探索性研究或总体边界不清的场景。
背景：某市市场监管局需在30天内完成全市居民食品安全满意度评估，预算为15万元，全市常住人口约320万。
初始方案：采用简单随机抽样，从全市户籍名单中抽取5000户。但执行中发现：①流动人口无法覆盖；②部分老旧小区入户困难，拒访率高达35%。
分析判断：简单随机抽样虽理论严谨，但抽样框不完整且无回答率过高，导致严重覆盖偏差。
调整方案：改为三阶段分层抽样——第一阶段按行政区划（10个区）分层，每区随机抽取4个街道；第二阶段每街道随机抽取3个社区；第三阶段在社区内按楼栋系统抽样，每栋抽取固定户数。同时预留20%的备用样本用于替换拒访户。
结果：实际完成样本4802户，应答率82%，抽样误差控制在±2.8%以内，满足精度要求。
复盘经验：抽样设计必须结合现实约束（入户难度、抽样框完整性），分层+多阶段+备用样本是应对复杂现场的有效组合。
3.1.4 常见误区与总结
- 误区一：认为样本越大越好。实际上，样本量超过一定阈值后精度提升有限，而成本线性增长。样本量由总体方差、允许误差和置信水平共同决定。
- 误区二：混淆“随机抽样”与“随便抽样”。随机必须依赖随机化工具，而非调查员主观判断。
- 误区三：忽视无回答偏差。即使初始抽样完美，高拒访率也会使最终样本失去代表性。
3.2 问卷设计
3.2.1 核心原理
问卷是调查数据的采集工具，其设计质量直接决定数据的有效性与可靠性。一份优秀问卷应做到：问题与研究目标一一对应、语言通俗无歧义、选项穷尽且互斥、排列逻辑顺畅、作答时间控制在15分钟以内。问卷设计遵循“从易到难、从客观到主观、从一般到敏感”的原则。
3.2.2 操作流程与题型选择
- 明确测量目标：将研究假设拆解为具体变量，每个变量至少设计2-3个测量题项。
- 选择题型：单选题适合分类变量；多选题适合多选场景；李克特量表（5级或7级）适合态度测量；开放题用于探索性信息收集，但不宜过多。
- 设计题项措辞：避免双重否定、诱导性提问、专业术语和模糊时间词（如“经常”“偶尔”应改为具体频次）。
- 预调查与修订：小范围试填（30-50人），检查理解一致性、选项覆盖度和作答时长。
3.2.3 案例拆解：企业员工满意度问卷的优化
某互联网公司HR部门设计了一份员工满意度问卷，初版包含45题，其中一题为：“你是否经常加班且感到工作压力很大？”（双重问题），另一题选项为“满意/不满意/一般”（选项顺序不当且缺少“非常满意”层级）。预调查发现平均作答时间达22分钟，且部分员工反映选项无法准确表达自身感受。
优化措施：①将双重问题拆分为“加班频率”和“压力感受”两题；②将满意度选项调整为李克特5级量表（非常满意、比较满意、一般、不太满意、非常不满意）；③删除或合并重复度高的题项，压缩至28题；④将敏感问题（如薪酬满意度）置于问卷后部，降低防御心理。优化后作答时间降至12分钟，量表信度Cronbach's α从0.68提升至0.85。
3.2.4 常见误区与总结
- 误区一：题项越多越好。冗长问卷导致疲劳效应，后期回答质量显著下降。
- 误区二：选项设计不穷尽。如“您的学历”选项仅列“本科/硕士/博士”，遗漏大专及以下学历。
- 误区三：忽略反向题设计。适当设置反向计分题可识别随意作答的无效问卷。
3.3 实验设计
3.3.1 核心原理
实验设计是通过主动干预（处理因素）并控制其他变量，以识别因果关系的方法。其三大基本原则是随机化（受试对象随机分配至不同处理组）、重复（每组有足够样本量以估计误差）和区组化（将已知干扰因素作为区组变量加以控制）。
3.3.2 常见设计类型与选择
| 设计类型 | 适用场景 | 优点 | 局限 |
|---|---|---|---|
| 完全随机设计 | 实验单位高度同质 | 简单、自由度损失小 | 无法控制个体差异 |
| 随机区组设计 | 存在已知干扰因素（如批次、地点） | 排除区组效应，精度更高 | 区组划分需准确 |
| 析因设计 | 研究多个因素及其交互作用 | 信息量大、效率高 | 实施复杂、样本需求大 |
| 配对设计 | 前后对比或匹配对象对比 | 控制个体差异 | 配对条件严格 |
3.3.3 案例拆解：电商平台促销方式效果实验
某电商平台希望比较“满减”与“折扣”两种促销方式对销售额的影响。实验设计如下：选取120家同品类店铺，按店铺月均销售额分为高、中、低三层（区组），每层内随机分配40家店铺至“满减组”或“折扣组”。实验周期为2周，记录每家店铺的日均销售额、客单价和转化率。结果显示：满减组的客单价提升12.3%，但转化率下降2.1%；折扣组转化率提升8.7%，客单价仅提升3.5%。通过双因素方差分析发现，促销方式与店铺层级存在显著交互作用——高销售额店铺更适合满减，低销售额店铺更适合折扣。该结论直接指导了平台后续的差异化促销策略。
3.3.4 常见误区与总结
- 误区一：忽视安慰剂效应。在涉及主观感受的实验（如食品口味测试）中，必须设置安慰剂组或盲法设计。
- 误区二：样本量不足导致检验功效过低。实验前应进行功效分析，确保能检测出有实际意义的效应量。
- 误区三：混淆统计显著与实际显著。大样本下微小差异也可能显著，需结合效应量判断实际意义。
3.4 数据质量与偏差控制
3.4.1 核心原理
数据质量可从准确性、完整性、一致性、及时性四个维度衡量。偏差（Bias）则指系统性的、非随机的误差，它不会随样本量增大而消失，是数据质量的最大威胁。偏差控制贯穿调查设计、数据采集、数据处理全过程。
3.4.2 主要偏差类型与应对策略
| 偏差类型 | 产生环节 | 典型表现 | 控制方法 |
|---|---|---|---|
| 抽样框偏差 | 抽样设计 | 抽样框遗漏部分总体（如仅用固定电话名单） | 多框抽样、定期更新抽样框 |
| 无回答偏差 | 数据采集 | 拒访者与应答者特征差异大 | 多次回访、替换样本、加权调整 |
| 测量偏差 | 问卷/仪器 | 题项措辞诱导、记忆误差 | 认知访谈、标准化工具、校准仪器 |
| 调查员偏差 | 访问过程 | 调查员语气、提示影响回答 | 统一培训、录音监控、盲访设计 |
| 处理偏差 | 数据录入/编码 | 录入错误、编码不一致 | 双录入校验、逻辑核查、异常值检测 |
3.4.3 数据质量评估与补救
数据收集完成后，应进行系统的质量评估：①计算应答率与无回答分布；②对关键变量进行缺失值模式分析；③通过逻辑规则（如年龄与婚姻状况的合理性）筛查异常记录；④对数值型变量绘制箱线图识别离群值。对于缺失数据，可根据缺失机制选择删除、均值插补、回归插补或多重插补法。对于离群值，需区分是真实极端值还是录入错误，前者可保留或进行稳健处理，后者应修正或删除。
3.4.4 总结复盘
数据收集与调查设计的核心在于“事前控制优于事后修正”。中级统计师应建立系统思维：从明确研究问题出发，权衡普查与抽样调查的利弊，科学设计问卷或实验方案，并在每个环节预判可能的偏差来源。同时，应养成记录调查过程元数据（如应答率、拒访原因、替换记录）的习惯，这些信息既是质量评估的依据，也是后续加权调整的基础。最后，所有数据收集工作都应形成书面技术报告，确保过程可追溯、结果可复现。