第3章 选择测试反馈收集方法：访谈、可用性测试、问卷、A/B测试适用场景
测试反馈收集方法的选择直接影响数据质量与研发效率。本章围绕四种核心方法——访谈、可用性测试、问卷、A/B测试，给出清晰的适用场景判断规则、操作流程与验收标准，帮助团队在不同产品阶段匹配合适的收集手段。
3.1 适用场景对比
四种方法在产品阶段、样本规模、数据类型与核心目标上存在显著差异。下表对照关键维度，便于快速筛选。
| 方法 | 适用产品阶段 | 典型目标 | 样本量要求 | 数据类型 |
|---|---|---|---|---|
| 访谈 | 探索期 / 概念验证 | 挖掘用户动机、心智模型、隐性需求 | 6–12 人 / 轮 | 定性（文本、录音、笔记） |
| 可用性测试 | 原型期 / 迭代期 | 评估交互效率、发现可用性问题 | 5–8 人 / 轮 | 定性 + 行为指标（任务完成率、时间） |
| 问卷 | 成长期 / 成熟期 | 规模化度量满意度、NPS、使用习惯 | ≥100 份 / 组 | 定量（量表、选择题、开放题） |
| A/B测试 | 成熟期 / 高流量场景 | 对比设计方案优劣、数据驱动决策 | ≥1000 用户 / 组 | 定量（转化率、点击率、停留时长） |
选择口诀：探索期用访谈，原型期用可用性测试，成长期用问卷，高流量期用A/B测试。多方法可组合使用以交叉验证。
3.2 前置条件
每种方法在执行前需满足特定的资源与准备要求。以下为关键前置条件清单。
- 访谈：招募到符合画像的受访者；准备半结构化提纲；安排安静访谈室或线上会议；访谈员需具备提问与追问技巧。
- 可用性测试：拥有可交互的原型（低保真或高保真）；设定2–5个核心任务；准备录屏/眼动仪等记录设备；招募真实目标用户。
- 问卷：明确调研构念与维度；完成问卷信效度预检验；确定抽样框与投放渠道（短信、APP内、邮件）；设置配额控制。
- A/B测试：产品具备分流能力（服务端/客户端实验平台）；流量充足且可均分；确定核心指标与最小可检测效应；设定实验时长（至少1个完整业务周期）。
3.3 操作步骤——方法选择流程
方法选择遵循“目标→约束→匹配→确认”四步路径。下图为标准决策流程，指导团队从测试目标与资源条件出发，定位最合适的收集方法。
具体操作分为以下五个子步骤：
- 明确测试目标与产品阶段：区分是探索性、验证性还是度量性目标，并判断当前处于概念期、原型期、成长期还是成熟期。
- 评估资源约束：盘点可用样本量、预算、时间窗口、设备与人员技能，剔除明显不可行的方法。
- 匹配方法–场景矩阵：参照上表，将目标与阶段映射到1–2种候选方法；若资源允许，优先选择可交叉验证的组合。
- 确认方法组合：对于复杂问题，可用“定性+定量”混合策略（如先访谈探索维度的内容，再用问卷规模化验证）。
- 记录选择依据：填写方法选择决策表（见3.6），确保每次选择可回溯、可复盘。
3.4 输入输出物
| 类别 | 输入物 | 输出物 |
|---|---|---|
| 目标与背景 | 测试目标文档、产品阶段定义、用户画像摘要 | 方法选择决策记录（含理由） |
| 资源数据 | 样本库容量、预算额度、可用设备清单、时间排期 | 测试计划框架（方法+日程+人员分工） |
| 历史参考 | 历史测试报告、已知问题列表、竞品测试数据 | 方法适用性评估表（评分/排名） |
3.5 责任边界
- 用研负责人：主导方法选择与适配，输出决策记录，对方法科学性负责。
- 产品经理：提供清晰的测试目标、产品阶段判断与资源预算信息。
- 设计师：配合可用性测试的原型准备与任务设计；在访谈中协助观察记录。
- 数据分析师：协助A/B测试的实验设计与指标定义；参与问卷的结构效度检验。
协作建议：方法选择不宜由单一角色决定。建议发起“方法选择评审会”，用研、PM、设计、数据四方对焦，15分钟内完成快速匹配。
3.6 记录材料——方法选择决策表
每次方法选择后，应填写下表并存档至项目知识库，便于后期追溯与经验积累。
| 项目名称 | 产品阶段 | 核心目标 | 选定方法 | 选择理由 | 决策人 |
|---|---|---|---|---|---|
| （例）智能助手V2 | 原型期 | 评估语音交互任务完成率 | 可用性测试 | 需观察操作行为与出错路径 | 张× |
| （例）会员中心改版 | 成熟期 | 验证新页面转化率提升 | A/B测试 | 流量充足，需严格归因 | 李× |
空白模板建议包含以下字段：项目名称、产品阶段、测试目标（50字内）、资源约束、候选方法列表、最终选定方法、选择依据、决策日期、责任人。
3.7 异常处理
方法选择过程中可能遇到以下异常情况，需提前准备应对策略。
- 方法与实际场景错配：如在探索期错误选择了A/B测试（无流量/无明确假设）。
→ 立即止损，改用访谈或可用性测试；复盘错配原因，更新决策检查清单。 - 资源不足以执行选定方法：如样本量不足、时间窗口太短。
→ 降级为轻量版本（如5人快速可用性测试代替正式测试），或切换到资源需求更低的方法。 - 多方法结果冲突：问卷满意度高但可用性测试发现问题多。
→ 以定性发现解释定量矛盾，优先修复可用性问题后再复测量化指标。
常见误区：不要因为“习惯”或“工具现成”就默认选择某一种方法。每次测试前必须重新做方法选择决策，避免经验主义导致数据偏差。
3.8 验收标准
方法选择环节完成后，需满足以下标准方可进入下一阶段：
- 依据可追溯：决策表中明确记录了目标、阶段、资源约束与选择理由，所有信息可还原。
- 覆盖测试目标：所选方法能完整覆盖测试目标的所有关键维度（如既有行为指标也有态度指标）。
- 资源匹配可行：样本量、预算、时间与设备均经过确认，不存在明显缺口。
- 组合逻辑自洽：若采用多方法组合，各方法之间的定位与衔接关系清晰，无冗余或遗漏。
- 相关方已对齐：用研、PM、设计、数据四方对方法选择达成一致，并签字确认决策表。