📚 课程目录第1章假设验证基本概念

第1章 · 假设验证基本概念

假设验证是实验设计的逻辑起点。本章将系统拆解假设验证的核心概念单元——假设定义、零假设与备择假设、显著性水平以及 P 值，并以 SOP 流程表格与结构图建立完整认知基线。

1.1 适用场景

假设验证基础概念适用于以下典型实验场景：

场景类别	具体描述	典型举例
A/B 测试	比较两个方案在核心指标上是否存在显著差异	按钮颜色对点击率的影响
工艺参数优化	判断新工艺参数是否带来统计意义上的改善	温度从 80°C 升至 85°C 后产品良率是否提升
医学临床实验	评估新药/新疗法是否优于现有治疗方案	新药组与安慰剂组的疗效差异
质量检验	判断样本指标是否偏离规格标准	批次均值是否等于标称值 100g
社科调研	验证干预措施是否对用户行为产生显著影响	推送策略改变后用户留存率变化

💡 判断要点：任何需要“用数据回答‘差异是否真实存在’”的问题，都适用本章概念框架。若问题只涉及描述统计（如平均数、比例），不涉及统计推断，则暂不进入假设验证流程。

1.2 前置条件

前置条件	要求说明	检查项
实验问题可量化	实验需有明确的数值型或分类型可测量指标	指标是否定义清晰、可采集
具备抽样逻辑	样本应能代表目标总体，抽样过程可追溯	抽样方案是否记录在案
基础统计知识	执行者理解概率分布、均值、标准差等基础概念	是否已完成入门统计培训
明确决策标准	实验前需约定显著性水平 α、最小效应量等参数	α 值是否在方案中写定

⚠️ 常见前置缺失：未预先设定显著性水平（α）而直接看 P 值做决策，会导致“P-hacking”或“显著性门槛漂移”。必须在实验开始前固定 α 值。

1.3 操作步骤

假设验证概念应用遵循以下 6 步标准流程：

定义研究问题 —— 将业务问题转化为统计可检验的表述。
设定零假设 H₀ —— 表述“无差异”或“无效应”的保守立场。
设定备择假设 H₁ —— 表述“存在差异”或“存在效应”的研究主张。
选定显著性水平 α —— 通常取 0.05 或 0.01，控制第一类错误概率。
采集数据并计算检验统计量 —— 根据数据类型选择 t 检验、z 检验、卡方检验等。
计算 P 值并做出结论 —— 若 P ≤ α，拒绝 H₀；否则不拒绝 H₀。

步骤编号	步骤名称	关键动作	交付物
1	定义研究问题	将业务问题转化为双变量统计问题	研究问题陈述文档
2	设定 H₀	明确“无差异”基准表述	零假设声明
3	设定 H₁	明确“有差异”的研究方向（单侧/双侧）	备择假设声明
4	选定 α	根据风险容忍度设定显著性水平	α 值记录
5	计算检验统计量	使用统计软件/公式计算实际观测值	检验统计量值
6	计算 P 值并决策	比较 P 与 α，输出拒绝/不拒绝结论	P 值及结论报告

  📌 操作要点：步骤 2 和 3 必须同时设定，H₀ 与 H₁ 互斥且完备。步骤 4 的 α 值不可在见到数据后修改。步骤 6 的决策结论应表述为“拒绝 H₀”或“不拒绝 H₀”，而非“接受 H₀”。

1.4 输入输出物

类别	物项名称	内容要求/格式
输入	研究问题描述	包含变量定义、目标总体、测量方式
	样本数据	结构化数据集（CSV/Excel），含变量列与观测行
	决策风险参数	预设的 α 值、检验方向（单侧/双侧）
输出	H₀ / H₁ 声明	以统计符号和文字表述的正式假设
	检验统计量及 P 值	数值结果，保留至少 4 位小数
	统计结论	“拒绝 H₀”或“不拒绝 H₀”及业务解读

1.5 责任边界

角色	职责范围	不涵盖/需移交事项
实验设计者	定义 H₀ / H₁、选定 α、确定检验方法	数据采集工具开发、样本量计算
数据分析师	计算检验统计量、P 值，输出结论报告	业务决策（是否上线方案）
业务决策者	基于统计结论与业务成本做出最终行动决策	统计方法选择、P 值计算
质量审核员	检查流程是否遵循预设 α、有无 P-hacking	实验方案设计、数据采集

🎯 责任边界提醒：统计结论 ≠ 业务决策。P 值显著不代表效果有实际业务价值，效应量和成本效益分析需由业务方结合完成。

1.6 记录材料

本章涉及的标准化记录表单：

记录名称	必填字段	保存要求
假设声明表	实验编号、H₀ 文字表述、H₁ 文字表述、检验方向、α 值	电子存档，实验期间不可修改
检验结果记录表	检验方法、统计量值、P 值、结论、执行人、日期	与原始数据关联保存 ≥ 2 年
决策日志	决策内容、依据（P 值+效应量）、审批人	项目归档，可用于审计追溯

1.7 异常处理

异常类型	表现	处理措施
P 值接近 α	P 值在 α ± 0.005 范围内（如 α=0.05，P=0.052）	扩大样本量重新实验；或明确报告“边缘显著”并补充效应量
多重比较未校正	同一实验进行 ≥ 3 次检验且未调整 α	采用 Bonferroni / FDR 校正，重新计算显著性门槛
数据违反检验前提	正态性、方差齐性等假设不满足	改用非参数检验（Mann-Whitney U、Wilcoxon signed-rank 等）
P-hacking 嫌疑	反复添加/删除数据点或变换检验方法直到 P < α	冻结数据与方案，由独立审核员重新执行完整流程

⚠️ 重要异常：若发现 P 值被人为篡改或选择性报告，该实验结论作废，需重新设计实验并更新所有相关记录。

1.8 验收标准

验收项	验收细则	通过标志
H₀ / H₁ 表述正确	H₀ 包含等号（=, ≤, ≥），H₁ 为相反方向（≠, >, <）	符号与文字一致
α 值预先设定	实验方案中明确写出 α 值，且无事后修改痕迹	方案签字版本与执行版本一致
P 值计算可复现	使用相同数据和检验方法可重现 P 值（误差 < 0.0001）	独立复现通过
结论逻辑完整	结论包含“P 值 vs α”比较 + 统计决定 + 业务解读	报告三段式结构完整
记录归档齐全	假设声明表、检验结果表、决策日志均已签署归档	档案清单核对 100%

1.9 核心概念关系图

下图展示假设验证中四个核心概念之间的逻辑关系与决策链路：

📖 读图指引：从顶部“研究问题”出发，向下分解为 H₀ 与 H₁ 的对立关系；显著性水平 α 作为预设风险阈值，参与后续检验统计量与 P 值的比较；最终在底部形成“拒绝 H₀”或“不拒绝 H₀”的二元决策。四个概念环环相扣，缺一不可。

1.10 本章要点清单

核心概念	定义要点	常见误用
零假设 H₀	声称“无差异/无效应”，包含等号	把“不拒绝 H₀”说成“接受 H₀”
备择假设 H₁	声称“有差异/有效应”，与 H₀ 方向相反	遗漏方向性（单侧 vs 双侧未指定）
显著性水平 α	第一类错误的最大允许概率，实验前固定	根据 P 值事后调整 α
P 值	在 H₀ 为真时，观测到当前结果的概率	将 P 值误读为“H₀ 为真的概率”

  ✅ 章节验收自查：① 能否用自己的话复述 H₀ 与 H₁ 的关系？② 是否知道 α=0.05 的含义？③ 能否向业务方正确解释 P 值的意义？④ 是否清楚“拒绝 H₀”不等于“效应很大”？——以上 4 项均通过，方可进入第 2 章。